# 구글 서치 콘솔에서 크롤링은 됐는데, 색인이 생성되지 않는 원인
구글 서치 콘솔(Google Search Console)에서 크롤링은 했는데, 색인이 생성되지 않는 경우 원인은 다음과 같습니다.
1. 페이지 품질 문제
1) 내용이 빈약한 콘텐츠
- 짧거나 가치 없는 콘텐츠는 검색 엔진에 의해 가치가 낮다고 판단되어 색인되지 않을 수 있습니다. (예: 100 단어 미만의 페이지, 중복된 콘텐츠, 자동 생성된 콘텐츠)
2) 인식하기 어려운 콘텐츠
- 이미지 위에 텍스트가 있거나 Flash 기반 콘텐츠는 Googlebot이 인식하지 못하여 색인되지 않을 수 있습니다.
3) 낮은 유용성
- 사용자에게 도움이 되지 않거나 관련성이 없는 콘텐츠는 색인되지 않을 가능성이 높습니다. (예: 맞춤법 오류, 깨진 링크, 불필요한 광고)
4) 사례
- 사례 1: 신규 블로그 운영자가 100 단어 미만의 짧은 글을 매일 100 개씩 1개월 동안 게시했습니다. 하지만 검색 결과에는 거의 노출되지 않았습니다. 이는 얇은 콘텐츠로 인해 Google에서 페이지 가치를 낮게 판단했기 때문입니다.
- 사례 2: 온라인 쇼핑몰에서 제품 이미지 설명을 이미지 위에 텍스트로만 표시했습니다. 그 결과, Googlebot이 제품 정보를 인식하지 못하여 검색 결과에 노출되지 않았습니다.
위에서는 거의 1번의 사례가 많은 거 같습니다.
이미 구글 검색에 많은 글이 등록된 내용이면 색인이 잘 안되는 경우가 많습니다.
가능하면 독창적인 컨텐츠를 만들어 등록하는 것이 좋습니다.
가능성은 낮지만 아래의 기술적인 문제에 의해 발생하는 경우도 있습니다.
2. 기술적인 문제
1) robots.txt 차단
- robots.txt 파일에 의해 Googlebot이 특정 페이지에 접근하지 못하도록 설정되어 있을 수 있습니다.
2) 메타 태그 오류
- noindex 메타 태그가 잘못 설정되어 페이지 색인을 금지했을 수 있습니다.
3) 사이트맵 오류
- 사이트맵이 잘못 구성되어 Googlebot이 사이트 구조를 파악하지 못했을 수 있습니다.
4) 서버 오류
- 웹 서버 오류로 인해 Googlebot이 페이지를 크롤링하지 못했을 수 있습니다.
5) 사례
- 사례 1: 웹 개발자가 robots.txt 파일에 모든 페이지를 차단하도록 설정하여 실수로 전체 사이트가 검색 결과에서 제외되었습니다.
- 사례 2: 홈페이지 메인 페이지에 noindex 메타 태그가 잘못 설정되어 있어 검색 결과에 노출되지 않았습니다.
3. 기타 문제
1) 신규 웹사이트
- 새 웹사이트는 Google 검색 엔진에 인덱싱되기까지 시간이 걸릴 수 있습니다.
2) 낮은 인지도
- 아직 링크나 공유가 많지 않은 페이지는 인덱싱 우선순위가 낮을 수 있습니다.
3) 경쟁 심화
- 특정 키워드에 대한 경쟁이 심하면 상위 검색 결과에 노출되기 어려울 수 있습니다.
4. 색인 진행 상황 확인
1) URL 검사 도구
- Google Search Console의 URL 검사 도구를 사용하여 특정 페이지의 색인 상태를 확인할 수 있습니다.
2) 사이트맵 보고서
- Search Console의 사이트맵 보고서에서 사이트맵 제출 및 색인 상태를 확인할 수 있습니다.
5. 색인 요청 및 문제 해결
1) URL 다시 제출
- Search Console에서 URL을 다시 제출하여 Googlebot에게 색인을 요청할 수 있습니다.
2) robots.txt 및 메타 태그 확인
- robots.txt 파일과 페이지 메타 태그가 올바르게 설정되었는지 확인합니다.
3) 사이트맵 검증
- Search Console에서 사이트맵을 검증하여 오류가 없는지 확인합니다.
4) 서버 로그 확인
- 서버 로그를 확인하여 Googlebot의 접근 및 크롤링 오류를 확인합니다.