쇼핑몰 페이지가 네이버, 구글 등 검색엔진에 수집될 수 있도록 허용하거나 제한하려면 robots.txt 파일을 관리합니다.
TXT 파일 작성
메모장 등 텍스트 편집기를 이용하여 아래 예시를 참고해 내용을 작성합니다.
작성 후 파일명을 robots.txt로 저장합니다.
예시
모든 검색엔진에 사이트 전체 접근 허용
HTML
모든 검색엔진에 사이트 전체 접근 차단
HTML
특정 페이지 URL 접근 차단
HTML
특정 검색엔진(구글)에 사이트 전체 접근 차단
HTML
주요 검색엔진 검색로봇 이름
구글 : Googlebot
구글 이미지 : Googlebot-image
구글 모바일 : Googlebot-mobile
네이버 : naverbot, yeti
다음 : daumos
관리자 페이지에서 설정 > 운영 설정 > 검색엔진최적화(SEO) > 고급설정으로 이동 후
검색로봇 접근 권한 설정에서 파일 선택 클릭 후 작성한 robots.txt 파일 업로드 합니다.
반영되기까지 최소 7일 정도 소요될 수 있으며, 검색 결과 노출 여부는 각 포털 사이트에 문의해야 합니다.
※ 이 외에 보다 자세한 내용은 아래 안내드린 각 포털 사이트의 robots.txt 규칙을 참고해 주시기 바랍니다.