robots.txt 작성과 sitemap.xml 작성하기

robots.txt 설정하기 - 네이버 서치어드바이저 (naver.com)

를 보고 공부하였습니다.

robots.txt 위치

robots.txt 파일은 반드시 사이트의 루트 디렉터리에 위치해야 하며 텍스트 파일 (text/plain) 로 접근이 가능해야 합니다.

• 예) http://www.example.com/robots.txt

robots.txt 규칙 예제

robots.txt 파일에 작성된 규칙은 같은 호스트, 프로토콜 및 포트 번호 하위의 페이지에 대해서만 유효합니다. http://www.example.com/robots.txt의 내용은 http://example.com/ 와 https://example.com/에는 적용되지 않습니다.

대표적인 규칙은 아래와 같으며 사이트의 콘텐츠 성격에 맞게 변경해주세요.

•  
• 다른 검색엔진의 로봇에 대하여 수집을 허용하지 않고 네이버 검색로봇만 수집 허용으로 설정합니다.
• User-agent: *
• Disallow: /
• User-agent: Yeti
• Allow: /
•  
• 모든 검색엔진의 로봇에 대하여 수집 허용으로 설정합니다.
• User-agent: *
• Allow: /

• 사이트의 루트 페이지만 수집 허용으로 설정합니다.
• User-agent: *
• Disallow: /
• Allow: /$
•  
• 관리자 페이지, 개인 정보 페이지와 같이 검색로봇 방문을 허용하면 안 되는 웹 페이지는 수집 비허용으로 설정해주세요. 아래 예제는 네이버 검색로봇에게 /private-image, /private-video 등은 수집하면 안 된다고 알려줍니다.
• User-agent: Yeti
• Disallow: /private*/
•  
• 모든 검색로봇에게 사이트의 모든 페이지에 대하여 수집을 허용하지 않는다고 알려줍니다. 이 예제는 사이트의 어떠한 페이지도 수집 대상에 포함되지 않으므로 권장하지 않습니다.
• User-agent: *
• Disallow: /

sitemap.xml 지정

내 사이트에 있는 페이지들의 목록이 담겨있는 sitemap.xml의 위치를 robots.txt에 기록해서 검색 로봇이 내 사이트의 콘텐츠를 더 잘 수집할 수 있도록 도울 수 있습니다.

User-agent: *

Allow: /

Sitemap: http://www.example.com/sitemap.xml

Robots.txt와 Sitemap.xml 제대로 설정하기 - 어센트 코리아 (ascentkorea.com)

여기를 보고 공부했습니다.

Sitemap.xml 형식 

사이트 맵의 일반적인 형식은 아래와 같은데, 코드를 직접 작성하는 대신 사이트 맵 생성 도구를 사용하여 생성하고 상시 자동 업데이트 되게 하는 것이 좋다. 그리고 이 사이트 맵 파일은 웹사이트의 루트 디렉토리 밑에 위치시키는 것이 좋다.

 구글은 우선 순위를 지정하는 <priority>나 콘텐츠 변경 주기를 표현하는 <changefreq>값을 무시하고 구글이 정한 기준에 의해 평가하고 사이트 변경을 반영한다. 

  <? xml version = "1.0"encoding = "UTF-8"?>
<urlset
     xmlns = "http://www.sitemaps.org/schemas/sitemap/0.9"
     xmlns : xsi = "http://www.w3.org/2001/XMLSchema-instance"
     xsi : schemaLocation = "http://www.sitemaps.org/schemas/sitemap/0.9
     http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd ">
<URL>
 <loc> https://www.ascentkorea.com/search-engine-optimization/ </ loc>
 <priority> 1.00 </ priority>
 <changefreq> weekly </ changefreq>
</ url>
<URL>
 <loc> https://www.ascentkorea.com/search-data-research-content-marketing/ </ loc>
 <priority> 0.80 </ priority>
 <changefreq> weekly </ changefreq>
</ url>
<URL>
 <loc> https://www.ascentkorea.com/japan-marketing/ </ loc>
 <priority> 0.80 </ priority>
 <changefreq> weekly </ changefreq>
</ url>
<URL>
 <loc> https://www.ascentkorea.com/ascent-korea-official-blog-listeningmind/ </ loc>
 <priority> 0.80 </ priority>
 <changefreq> weekly </ changefreq>
</ url>
</ urlset>

Sitemap.xml(사이트 맵)의 운영 상의 주의점

• Sitemap 파일은 UTF-8로 인코딩되야한다.
• 큰 사이트 맵은 작은 사이트 맵으로 분할하여 제출한다. 이 때 최대 사이트 맵 크기는 URL 50,000개 / 압축되지 않은 경우 사이즈는 50MB까지다.
• 여러개의 분할된 사이트 맵을 제출할 때에는 개별 사이트 맵을 제출 하는 대신 사이트 맵 색인 파일을 사용하여  모든 개별 사이트 맵을 나열한 사이트 맵을 같이 제출 하는 것이 좋다.
• 두 가지 버전의 사이트 (예 : www 및 비 www)가 있는 경우 선호하는 사이트 URL을 결정하고 여기에 사이트 맵을 배치하고 다른 사이트에 rel = canonical 또는 리디렉션을 추가한다.
• 동영상, 이미지, 뉴스와 같은 다른 포맷의 미디어를 사이트 맵으로 제출 할 수 있다.
• 다른 언어 또는 지역에 대한 대체 페이지가 있는 경우 사이트 맵에 hreflang을 사용하여 대체 URL을 나타낼 수 있다.