이전 글에서 sitemap.xml, robots.txt, canonical처럼 검색엔진이 블로그를 발견하고 이해하는 데 필요한 기본 SEO 설정을 정리했다.
관련 글: 검색되는 블로그에는 이유가 있다
이제 확인할 것은 Google이 실제로 내 사이트를 발견하고 페이지를 읽을 수 있는가다.
이를 확인하고 관리할 수 있는 도구가 Google Search Console 이다.
다만 Search Console에 사이트를 등록해야만 Google 검색에 나타나는 것은 아니다. Google은 링크나 sitemap 등을 통해 등록되지 않은 사이트도 발견할 수 있다.
Search Console의 역할은 조금 다르다.
Google이 내 사이트를 발견했는가?
↓
페이지를 크롤링할 수 있는가?
↓
색인되어 있는가?
↓
문제가 있다면 원인은 무엇인가?즉 Google이 내 사이트를 어떻게 처리하고 있는지 직접 확인하는 도구라고 보는 편이 정확하다.
1. 등록하기 전에 사이트 상태를 확인한다
Search Console부터 연결하기 전에 현재 배포된 사이트를 검색엔진이 정상적으로 접근할 수 있는 상태인지 먼저 확인한다.
현재 블로그 주소는 다음과 같다.
https://hivehoney.tech/
그리고 이전 글에서 설정했던 파일도 실제 배포된 주소에서 직접 열려야 한다.
robots.txt
먼저 robots.txt에서 Googlebot의 크롤링을 막고 있지 않은지 확인한다.
현재 블로그는 전체 페이지의 크롤링을 허용하고 sitemap 위치를 함께 제공하고 있다.
robots.txt 파일을 확인한다
공개 블로그인데 다음처럼 사이트 전체가 차단되어 있다면 Google이 페이지를 크롤링하는 데 문제가 생길 수 있다.
따라서 의도하지 않은 Disallow 설정이 없는지만 확인하면 된다.
sitemap.xml
다음으로 sitemap.xml이 정상적으로 생성되고 있는지 확인한다.
sitemap.xml 파일을 확인한다
중요한 것은 sitemap 안에 실제 게시글 URL이 포함되어 있는지다.
검색되는 블로그에는 이유가 있다
sitemap에서도 해당 URL을 확인할 수 있다면 준비는 끝났다.
2. Google Search Console에 블로그를 등록한다
이제 Google Search Console에 접속해 블로그를 등록한다.
Search Console에서는 관리할 사이트를 속성(Property) 이라는 단위로 추가한다.
처음 속성을 등록하면 도메인과 URL 접두어 두 가지 방식이 나온다.
도메인 방식은 DNS 설정이 필요하므로, URL 접두어 방식으로 등록하는 것을 추천한다.
| 방식 | 입력 예시 | 관리 범위 |
|---|---|---|
| 도메인 | hivehoney.tech |
모든 프로토콜과 하위 도메인 |
| URL 접두어 | https://hivehoney.tech/ |
입력한 URL 접두어 |
도메인 속성은 http, https, www 등의 주소를 한 번에 관리할 수 있지만 DNS를 통한 소유권 확인이 필요하다.
반대로 URL 접두어는 입력한 주소 범위만 관리하지만 HTML 파일, HTML 태그 등 여러 방식으로 소유권을 확인할 수 있다.
이번에는 실제 서비스 주소인 다음 URL을 URL 접두어 방식으로 등록했다.
개인 블로그처럼 하나의 HTTPS 주소만 운영한다면 이 방식으로도 충분하다.
3. 사이트 소유권을 확인한다
URL 접두어를 추가하면 바로 등록되는 것은 아니다. 먼저 이 사이트를 실제로 관리할 권한이 있는지 증명하는 과정이 필요하다. Search Console에서는 여러 확인 방법을 제공하는데, 현재 화면에서는 HTML 파일 업로드가 권장 방법으로 표시됐다.
소유권 확인을 위해 HTML 파일은 다운로드 한다.
방법은 간단하다. Search Console에서 제공하는 HTML 파일을 다운로드한다.
현재 블로그는 Astro로 구성되어 있으므로 다운로드한 파일을 프로젝트의 public 디렉터리에 그대로 추가했다.
public/
├── google660d47c2d433c732.html
├── robots.txt
└── ...Astro의 public 디렉터리에 들어 있는 파일은 배포 후 사이트 루트에서 그대로 접근할 수 있다.
따라서 다시 배포한 다음 다음 형태의 주소가 실제로 열리는지 확인한다.
정상적으로 접근된다면 Search Console로 돌아가 확인 버튼을 누른다.
정상적으로 확인되면 소유권 확인 완료 메시지가 나타난다.
소유권이 확인되면 속성으로 이동하여 마저 설정을 완료한다.
여기서 인증에 사용한 HTML 파일은 삭제하지 않는다.
사이트의 소유권을 계속 확인할 수 있도록 프로젝트에 그대로 유지하면 된다.
이제 Search Console과 블로그가 연결됐다.
4. sitemap.xml을 제출한다
Search Console 왼쪽 메뉴에서 Sitemaps로 이동한다.
현재 블로그의 sitemap은 다음 주소에서 제공되고 있다.
https://hivehoney.tech/sitemap.xml여기서 sitemap 파일을 직접 업로드하는 것은 아니다.
이미 사이트에 존재하는 sitemap의 위치를 Google에 알려주는 것이다.
새 사이트맵 추가 영역에 다음과 같이 입력한다.
현재 블로그의 sitemap 주소를 제출한다.
정상적으로 읽었다면 제출한 sitemap의 상태가 성공으로 표시된다.
현재 블로그의 sitemap 주소를 제출한다.
여기서 꼭 구분해야 할 것이 있다.
sitemap에서 URL 발견 ≠ Google 색인 완료
sitemap을 제출하는 목적은 Google이 사이트의 URL을 발견하기 쉽게 만드는 것이다.
sitemap 안에 URL이 있다고 해당 페이지가 바로 크롤링되거나 검색결과에 나타나는 것은 아니다. 현재 블로그는 Astro 빌드 과정에서 sitemap을 자동으로 생성하도록 구성되어 있다. 따라서 새로운 글을 작성할 때마다 sitemap.xml을 직접 수정할 필요는 없다. 즉 sitemap은 최초에 Search Console에 위치를 알려두고, 이후에는 블로그 빌드 과정에서 계속 갱신되는 구조로 두면 된다.
5. 게시글의 색인 상태를 확인한다
sitemap 제출까지 끝났다면 이제 실제 게시글 하나를 확인해본다.
Search Console 상단의 URL 검사 영역에 전체 게시글 주소를 입력한다.
Google이 아직 페이지를 처리하지 않았다면 다음과 같은 결과가 나타날 수 있다.
URL이 Google에 등록되어 있지 않음
이미 색인되어 있다면 반대로 다음과 같이 표시된다.
URL이 Google에 등록되어 있음
URL 검사에서 확인할 것은 단순히 등록 여부만이 아니다.
Google이 URL을 알고 있는가?
페이지를 정상적으로 가져올 수 있는가?
색인이 허용되어 있는가?
canonical은 어떤 URL인가?
현재 색인되어 있는가?그래서 게시글이 검색되지 않는다면 제목이나 키워드부터 수정하기 전에 URL 검사에서 Google이 해당 페이지를 어떻게 보고 있는지 확인하는 것이 먼저다.
색인 생성 요청
새로 작성한 게시글을 Google이 아직 발견하지 못했다면 URL 검사에서 색인 생성 요청을 사용할 수 있다.
주소를 입력후 색인 생성 요청을 한다.
색인 생성 요청을 누르는 것과 검색결과에 노출되는 것은 다른 문제다.
색인 생성 요청 ≠ 즉시 검색 노출
색인 생성 요청은 Google에 이 URL을 다시 확인해달라고 요청하는 기능이다.
실제 크롤링과 색인에는 시간이 걸릴 수 있고, 요청했다고 모든 페이지가 반드시 색인되는 것도 아니다.
같은 URL에 색인 요청을 반복한다고 더 빨리 처리되는 것도 아니다. 각 기능의 역할은 이렇게 나누면 이해하기 쉽다.
여러 게시글의 URL 발견 ➡ sitemap.xml
특정 URL의 상태 확인 ➡ URL 검사
특정 URL의 재크롤링 요청 ➡ 색인 생성 요청따라서 새로운 글을 작성할 때마다 모든 URL을 하나씩 수동으로 등록할 필요는 없다.
sitemap.xml과 내부 링크가 정상적으로 구성되어 있다면 Google은 이를 통해 새로운 게시글을 발견할 수 있다.
URL 검사는 중요한 새 글을 확인하거나, 검색되지 않는 페이지의 원인을 찾을 때 사용하는 도구로 보는 편이 정확하다.
정리
여기까지 완료하면 Google이 내 블로그를 발견하고 크롤링하고 색인하는 과정을 직접 확인할 수 있는 기본 환경이 갖춰진다.
Search Console을 등록했다고 검색 순위가 올라가는 것도 아니고, 색인 생성 요청을 누른다고 바로 검색결과에 나타나는 것도 아니다.
Search Console을 사용하는 이유는 내가 작성한 글이 Google에 도달하는 과정을 추측하지 않고 직접 확인할 수 있기 때문이다.
다음 글에서는 ChatGPT, Gemini 같은 AI 서비스에서 콘텐츠가 발견되고 인용되는 것과 관련해 이야기되는 GEO(Generative Engine Optimization) 에 관련하여 POST 할 예정이다.