반응형 2022/09/221 SEO) robots.txt와 sitemap.xml robots.txt와 sitemap.xml 크롤러가 웹페이지의 콘텐츠를 복사해서 검색엔진으로 이동시키고 이를 주제별로 색인한다. 색인된 정보만이 검색결과에 노출되기에 마케터 입장에서는 크롤러에 대한 대응방법이 중요하다고 함. 이때 robot.txt와 sitmemap.xml은 크롤러를 제어하기 위해 설정하는 파일이다. robots.txt 크롤러(로봇)이 지켜야하는 규칙과 사이트맵(sitemap.xml)파일의 위치를 알려주는 역할 robots.txt에서 크롤러가 크롤링 할 수 있는 디렉토리를 설정할 수 있다. 만약 robots.txt에 아무것도 저장하지 않으면 크롤러는 모든 컨텐츠(모든 디렉토리)를 색인하고 검색결과에 노출시킨다. robots.txt를 작성하는 규칙은 이 문서에 잘 나와 있다. robots... 2022. 9. 22. 이전 1 다음 반응형