본문 바로가기

컴퓨터인터넷

티스토리 블로그 검색엔진 최적화 - 메타태그, robots.txt

검색엔진 (Search Engine)과 Robots.txt란?

검색엔진이라함은 검색 기능을 하는 소프트웨어를 말합니다. 로봇이라고 불리우는 소프트웨어가 전 세계의 웹사이트들을 돌아다니면서 웹페이지를 수집합니다. 이렇게 수집 된 웹페이지들은 검색을 위해서 인덱싱 (검색 알고리즘에 따라 페이지를 색인화) 과정을 거치게 됩니다. 검색 알고리즘에 따라 인덱싱 된 웹페이지들은 사용자가 검색어를 입력하고 검색을 할 때 결과로 보여지게 됩니다. 웹페이지 로봇이 나의 웹사이트에 (블로그) 웹페이지를 수집하려고 접근 (액세스) 하였을 때 어느 곳은 수집하도록 하고 어느 곳은 수집하지 말 것을 robots.txt에 명시하게 됩니다.    

 

 

검색 엔진 최적화(SEO: Search Engine Optimization) 와 네이버 웹마스터 도구 그리고 왜 robots.txt를 변경하는가?

티스토리 블로그는 다음 검색 엔진에 최적화 되어 있으며 구글 검색 엔진에도 기본적으로 노출이 되도록 되어 있습니다. 하지만 네이버는 자신들의 블로그가 최우선으로 노출 되도록 하고 있기 때문에 티스토리 블로그에 있는 웹페이지를 일일이 네이버 웹마스터에 등록해 주었을 때 네이버에서 사람들이 검색 시 노출이 될 수 있습니다. 물론 유명한 티스토리 블로그의 경우 네이버가 자동으로 알아서 웹페이지를 등록해서 검색 결과에 노출 되도록 해주지만 아직 일일 방문자가 많지 않고 유명하지 않은 블로그의 경우 네이버 웹마스터에 자신의 티스토리 블로그를 등록하고 네이버 검색엔진 로봇이 자신의 블로그에 있는 웹페이지를 수집하고 등록하도록 해야 합니다. 네이버 검색 엔진 로봇이 자신의 블로그에 있는 웹페이지를 수집할 수 있도록 권한을 줘야 하는데 이때 robots.txt에 이를 명시할 수 있습니다. 이러한 과정을 검색 엔진 최적화 (SEO: Search Engine Optimization) 과정이라고 합니다.  

 

 

 

 

자신의 티스토리 블로그 robots.txt 파일 보기

자신의 블로그 주소.tistory.com/robots.txt를 웹브라우저 주소창에 입력 후 엔터 키를 치시면 현재 등록 되어 있는 robots.txt 파일의 내용을 볼 수 있습니다.

 

 

Robots.txt 파일 내용 설명

 

User-agent: *

Disallow: /owner

Disallow: /manage

Disallow: /admin

Disallow: /oldadmin

Disallow: /search

Disallow: /m/search

Disallow: /m/admin

Disallow: /like

Allow: /

 

User-agent: Mediapartners-Google

Allow: /

 

User-agent: Yeti

Allow: /

 

User-agent: bingbot

Crawl-delay: 30

 

 

User-agent: Yeti

Allow: /

위의 문장이 의미하는 것은 Yeti 로봇에게 모든 디렉토리에 대한 엑세스와 페이지 수집을 허락 한다는 뜻 입니다. 참고로  Yeti는 네이버 검색 엔진의 이름입니다.

 

User-agent: *

모든 로봇에게라는 뜻입니다.

 

Disallow: /owner

owner라는 디렉토리에 엑세스를 허락하지 않는다는 뜻입니다.

 

User-agent: bingbot

Crawl-delay: 30

 

너무 자주 웹페이지 수집과 인덱싱을 하지 못하도록 시간 설정 (수집 간격: 30초)

 

 

Robots.txt 파일의 위치

기본적으로 Robots.txt 파일의 위치는 블로그 루트에 등록 되어 있습니다. 하지만 티스토리 블로그 유저는 루트에 대한 엑세스 및 변경 권한이 없습니다. 즉, 티스토리 블로그 사용자는 robots.txt 파일을 변경, 수정할 수 없습니다. 그래서 직접 루트에 있는 robots.txt 파일을 변경 할 수 없기 때문에 티스토리에서는 메타태그 플러그인을 제공하여 검색엔진 로봇들이 웹페이지를 수정하고 인덱싱을 할 수 있는 권한을 명시하도록 합니다. 그리고 메타태그 플러그인 방법 외에도 2가지 방법이 더 있습니다. 총 3가지 방법을 통해서 검색 엔진 로봇의 웹페이지 수집과 인덱싱 권한을 설정할 수 있습니다. 아래에서 3가지 방법에 대하여 설명하도록 하겠습니다.

 

 

메타 태그란?

메타 태그는 현재의 웹페이지에 대한 추가 정보를 제공합니다. 웹페이지는 컨텐츠의 구조 (HTML, CSS) 와 컨텐츠 정보 (텍스트, 이미지, 사운드, 영상)를 갖고 있는데 메타 태그는 이 웹페이지에 대한 추가적인 정보를 제공합니다. 웹페이지에 대한 로봇의 접근 권한을 명시할 수 있습니다. 웹사이트의 검색 엔진 최적화 (SEO: Search Engine Optimization)를 위해서 주요 검색 엔진인 네이버, 구글, 다음, 빙에 대하여 자신의 티스토리 블로그 접근과 웹페이지 수집에 대한 권한을 메타 태그에서 부여해 주어야 합니다. 부여 방법은 3가지가 있을 수 있습니다.

 

 

1. 메타 태그 플러그인 사용하기

첫번째는 티스토리 관리자 페이지에 있는 메타 태그 관리 플러그인을 사용하는 것 입니다. 티스토리 블로그는 기본적으로 아래와 같은 robots.txt가 등록 되어 있습니다. 하지만 robots.txt는 루트 디렉토리에 저장 되어 있어서 변경 (수정 및 삭제)이 되지 않습니다. 그래서 이러한 문제를 해결 하고자 플러그인에서 메타 태그 변경 기능을 제공합니다.

 

티스토리 블로그 관리자 페이지 -> 플러그인 -> 메타 태그

 

아래와 같이 메타 태그를 추가해 주면 구글, 네이버, 빙, 야후의 검색 로봇이 티블로그의 웹페이지를 접근 및 수집할 수 있습니다. 이름은 본인이 원하는 이름으로 지정하면 됩니다.

 

 

 

 

구글: Googlebot 

구글 이미지: Googlebot-image 

네이버: Yeti 

다음: Daumoa 

야후: Slurp

 

<meta name = "Robots" content="All">

<meta name = "Robots" content="index,follow">

 

<meta name = " Googlebot" content="All">

<meta name = "Googlebot" content="index,follow">

 

<meta name = " Googlebot-image" content="All">

<meta name = "Googlebot-image" content="index,follow">

 

<meta name = " Yeti" content="All">

<meta name = "Yeti" content="index,follow">

 

<meta name = " Daumoa" content="All">

<meta name = "Daumoa" content="index,follow">

 

<meta name = " Slurp" content="All">

<meta name = "Slurp" content="index,follow">

 

 

2. 메타 태그 직접 <head> </head>에 입력하기

두번째 방법은 티스토리 메타태그 플러그인을 사용하지 않을 경우 스킨 편집 -> HTML로 이동 후 <head> </head> 사이에 위의 코드를 복사해 주어도 같은 기능을 제공합니다.

 

 

 

3. 웹마스터 도구에서 메타 태그 생성, 복사 후 <head> </head>에 입력하기

세번째 방법은 네이버 웹마스터 도구, 구글 웹마스터 도구, 빙 웹마스터 도구에 가셔서 메타 태그를 집적 생성 후 복사, 그리고 역시 자신의 블로그 html로 가셔서 <head> </head> 사이에 메타 태그를 복사하셔도 됩니다. 역시 위의 방법들과 같은 기능을 제공합니다.  

 

 

구글 서치 콘솔: https://search.google.com/search-console/about

 

Google Search Console

Search Console 도구와 보고서를 사용하면 사이트의 검색 트래픽 및 실적을 측정하고, 문제를 해결하며, Google 검색결과에서 사이트가 돋보이게 할 수 있습니다.

search.google.com

 

네이버 웹마스터 도구: https://searchadvisor.naver.com/

 

네이버 서치어드바이저

네이버 서치어드바이저와 함께 당신의 웹사이트를 성장시켜보세요

searchadvisor.naver.com

 

빙 웹마스터 도구: https://www.bing.com/toolbox/webmaster?mkt=ko-kr

 

Bing - 웹 마스터 도구

모바일 지원 Bing 모바일 지원 수준 확인 도구로 사이트가 모바일을 지원하는지 확인할 수 있습니다.

www.bing.com