SEO) robots.txt와 sitemap.xml

robots.txt와 sitemap.xml

크롤러가 웹페이지의 콘텐츠를 복사해서 검색엔진으로 이동시키고 이를 주제별로 색인한다.

색인된 정보만이 검색결과에 노출되기에 마케터 입장에서는 크롤러에 대한 대응방법이 중요하다고 함.

 

이때 robot.txt와 sitmemap.xml은 크롤러를 제어하기 위해 설정하는 파일이다.

robots.txt

크롤러(로봇)이 지켜야하는 규칙과 사이트맵(sitemap.xml)파일의 위치를 알려주는 역할

robots.txt에서 크롤러가 크롤링 할 수 있는 디렉토리를 설정할 수 있다.

만약 robots.txt에 아무것도 저장하지 않으면 크롤러는 모든 컨텐츠(모든 디렉토리)를 색인하고 검색결과에 노출시킨다.

 

robots.txt를 작성하는 규칙은 이 문서에 잘 나와 있다.

 

 

robots.txt는 아무나 접근할 수 있기에 보안으로 사용되어서는 안된다.

또한 크롤러가 무조건 robots.txt를 따르는것은 아니라고 한다.

Sitemap.xml

Sitemap.xml은 크롤러가 웹사이트에서 크롤링 할 url을 전달한다.

운영자는 url의 최근 업데이트, 업데이트 빈도, 타 url대비 상대적 중요도 등의 정보를 담을 수 있다.

Sitemap을 지원하는 검색엔진은 이 정보를 이용하여 크롤링을 더 효율적으로 할 수 있게 된다.

 

Sitemap.xml은 url을 추가, 배제하는 역할을 하여 robots.txt를 보완하는 역할을 한다.

 

그리고 컨텐츠의 변화에 맞춰 늘 업데이트 되므로 수동으로 관리하기 보다 사이트 변화에 따라 자동으로 업데이트 되도록 하는 것이 좋다.

 

Sitemap.xml의 가이드는 이 문서에 잘 작성되어 있다.

 

 

---

참고문서라기엔 부끄러울정도로 많이 참고한 어센트코리아 페이지