구글 블로거(Blogger) 크롤러 및 사용색인 설정하는 방법에 대해서 알려드립니다.

# 구글 블로거, Blogger, 크롤러 및 사용색인 설정, 맞춤 로봇 헤더 태그 사용 방법

구글 블로거를 활용하여 페이지를 만들고 나면 일반적으로 구글 검색이 잘 안되어 초기에 포기하는 분들이 많습니다. 구글 검색결과에 나오게 하기 위해서는 크롤링과 색인 과정이 필요한데, 이를 위한 가장 기본적은 설정에 대해서 정리해보도록 하겠습니다.

오늘은 구글 블로거(Blogger) 설정 중에 '크롤러 및 색인생성' 설정하는 방법에 대해서 알려드리도록 하겠습니다.

1. 블로거(Blogger) '크롤러 및 색인생성' 메뉴 위치

• "구글 블로거 > 설정"으로 들어가시면 설정의 거의 하단에 가까운 쪽에 아래와 같은 메뉴가 있습니다. 

2. '맞춤 robots.txt 사용' 설정하는 방법

• 맞춤 robots.txt란 무엇일까요?
  - 웹사이트 소유자는 맞춤 robots.txt 파일을 사용하여 웹 로봇에게 크롤링할 웹사이트의 URL, 디렉토리 및 페이지를 알릴 수 있습니다.
  
  
• 구글, 네이버, 빙과 같은 검색 사이트는 검색엔진에 검색 키워드와 내용을 정리하기 위해 검색용 웹봇을 활용하여 사이트의 정보를 가져오게 되는데, 이런 검색 봇을 '스파이더' 또는 '크롤러'라고 합니다. 
  
  
• 이와 같은 크롤러는 웹사이트를 방문하면 일단 맞춤 robots.txt로 가서 어떤 페이지, 디렉토리, 폴더 또는 URL을 크롤링할 수 있는지 확인합니다.
  
  
• 따라서, 오픈을 원하지 않는 페이지 또는 폴더가 있다면, robots.txt에 반영을 해야하며, 반대로 얘기하면 robots.txt를 잘못 설정하면 크롤러가 당신의 웹페이지를 제대로 못 가져갈 수 있습니다.

3. 맞춤 Robots.txt 최적 설정 방법

• 블로거 사용자라면 아래와 동일하게 넣으시면 구글 크롤링에 전혀 문제 없습니다.
• 아래에서 맨 하단의 sitemap 부분만 본인의 블로거 주소를 넣으시면 됩니다. 혹시 2차 도메인을 사용하시는 분이라면 해당 도메인으로 변경해주셔야 합니다.

User-agent: Mediapartners-Google

Allow:

User-agent: *

Disallow: /search

Allow: /

Allow: /search/label

Sitemap: https://웹사이트주소/sitemap.xml

• 맞춤 robots.txt 메뉴 및 설정방법

      - 맞춤 robots.txt를 선택하고 아래와 같이 창이 열리면 해당 화면에 넣으시면 됩니다.

• 맞춤 robots.txt 주요 항목 설명
  

    ① User-agent : Mediapartners-Google   
        Allow :
       - 블로그의 모든 페이지에 Google AdSense 광고가 게재될 수 있도록 합니다.

    ② User-agent : *
      - 이 섹션이 모든 크롤러(구글, 네이버, 빙 등)가 접근 가능할 수 있도록 합니다.
      - 만일, 특정 크롤러에게만 오픈하고 싶다면 *가 아닌 해당 크롤러 명을 입력해야 합니다.  하지만 그럴 이유가 없기 떄문에 위와 같이 작성하시면 됩니다.

     ③ 

Disallow : /search
      -  키워드 /search/ 가 있는 모든 URL는 크롤링에서 제외시킨다는 의미입니다.
      - search 관련 주소를 제외하는 이유는 블로거 사이트에서는 검색을 하거나 레이블을 등록하면 /search 하위 폴더에 생성이 되기 떄문입니다.

     ④ Allow:/
      - 웹 로봇에게 disallowed를 제외한 모든 웹사이트 페이지/URL을 크롤링할 수 있도록 허락합니다.

     ⑤ Disallow : /search
      - 블로거의 검색 레이블이 크롤링되는 것을 차단합니다. Allow: /search/label은 웹 로봇에게 Blogger 레이블이 크롤링되는 것을 차단하지 않도록 지시합니다. 레이블은 귀하의 카테고리이며, 인덱싱을 막는 것은 좋은 SEO 관행이 아닙니다. 레이블은 귀하의 사이트로의 유기적 트래픽의 원천이 될 수 있습니다.

4. 블로거(Blogger)의 '맞춤 로봇 헤더 태그' 설정 종류

• 블로거에는 아래와 같이 3가지 유형의 사용자 정의 로봇 헤더 태그가 있습니다.

 1) 홈페이지 태그
 2) 자료실 및 검색 페이지 태그
 3) 글 및 페이지 태그

5. 블로거(Blogger) '맞춤 로봇 헤더 태그' 활성화 방법

• 맞춤 로봇 헤더 태그를 활성화하는 방법은 아래와 같습니다.

① 블로거(Blogger) 대시보드를 엽니다.
② 사이드바에서 설정을 클릭합니다 .
③ 아래로 스크롤하여 " 크롤러 및 색인생성 " 섹션으로 이동하세요.
④ 슬라이더를 오른쪽으로 드래그하여 '맞춤 로봇 헤더 태그'를 활성화하세요 .

 1) '홈페이지 태그' 설정 방법 (홈페이지용 맞춤 로봇 태그 설정방법)

• 블로거(Blogger)에서 홈페이지 태그를 설정하는 방법은 아래와 같습니다.

    ① “ 홈페이지 태그 ”를 클릭하세요.
    ② " All "를 활성화합니다.
    ③ “ noodp ”를 활성화합니다.

• noodp 이란? noodp는 No Open Directory Project를 의미합니다. noodp 태그를 적용할 경우 장점은 검색 엔진이 무작위 설명을 선택하는 것을 피할 수 있다는 것입니다. 이는 웹페이지의 SEO에 영향을 미칩니다. Noodp 태그는 Google에 페이지와 관련된 내용을 알려줍니다.

    ④ 저장을 클릭하세요 .

  2) '자료실 및 검색 페이지 태그' 설정 방법

• 블로거(Blogger) 에서 자료실 및 검색 페이지 태그를 설정하는 방법은 아래와 같습니다.

   ① “ 자료실 및 검색 페이지 태그 ”를 클릭합니다.
   ② “ noindex ”를 활성화합니다.

• noindex: 웹 로봇에게 검색 엔진에서 페이지를 인덱싱하지 말고 검색 결과에 표시/나열하지 말라고 지시합니다. SEO 관점에서 볼 때 Blogger의 검색 페이지는 검색 엔진에 나열할 필요가 없습니다. 그래서 "자료실 및 검색 페이지" 섹션에서는 noindex를 활성화하는게 좋습니다.

   ③ 저장을 클릭하세요 .

  3) '글 및 페이지 태그' 설정 방법

• 블로거(Blogger)에서 게시물과 페이지 태그를 설정하는 방법은 아래와 같습니다.

   ① " 게시물 및 페이지 태그 "를 클릭합니다.
   ② " All "를 활성화합니다.
   ③ “ noodp ”를 활성화합니다.

• noodp 이란? noodp는 No Open Directory Project를 의미합니다. noodp 태그를 적용할 경우 장점은 검색 엔진이 무작위 설명을 선택하는 것을 피할 수 있다는 것입니다. 이는 웹페이지의 SEO에 영향을 미칩니다. Noodp 태그는 Google에 페이지와 관련된 내용을 알려줍니다.

   ④ 저장을 클릭하세요 .