네이버 서치어드바이저 robots.txt가 존재하지 않습니다. 해결하는 방법

티스토리 블로그 네이버 서치어드바이저 등록 후 robots.txt가 존재하지 않습니다. 라는 오류가 있을 때 정확하지 못한 해결 방법이 있어서 정확히 이 문제를 해결하는 방법에 대해서 설명을 드리도록 하겠습니다.

네이버 서치 어드바이저 robots.txt 오류

서치어드바이저에 티스토리 블로그를 등록하고 검증을 하기 위해 웹 페이지 최적화를 눌러서 확인을 해보면 “robots.txt가 존재하지 않습니다”라는 메세지와 노란색 느낌표가 나타나있는 경우가 있습니다.

robots.txt는 검색 로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안으로 네이버 검색로봇이 원활히 검색하기 위해서 필요합니다.

네이버 서치어드바이저에 티스토리 블로그를 등록을 하고 웹페이지 최적화를 검색해보면 robots.txt가 존재하지 않습니다에 오류가 있는 경우가 있습니다.

위 오류를 해결하기 위해 검색하여 적용을 해 보았으나 문제는 해결되지 않았습니다. 그 말은 잘못된 정보였다는 것입니다.

대표적인 예가 네이버 웹마스터도구의 robots.txt 간단 생성의 항목에서 “모든 검색로봇 / 수집을 허용합니다.” 선택 후 robots.txt를 다운로드 한 다음 이 파일을 티스토리의 Html 편집으로 들어가 파일 업로드를 하라고 하는 것입니다.

이 방법으로는 절대 이 문제를 해결 할 수가 없습니다. 저도 똑같은 방법으로 파일을 다운받아 업로드 하였으나 결과는 바뀌지 않았습니다.

그 이유는 파일은 반드시 사이트의 루트 디렉터리에 위치해야 하며 텍스트 파일 (text/plain) 로 접근이 가능해야 하기 때문입니다.

두번째 예를 들면 티스토리의 Html 편집에서와태그 사이에 빨간 박스안에 메타태그를 삽입하고 적용버튼을 클릭합니다. <meta name=”robots” content=”index,follow”> 넣는 방법을 알려주는 곳도 있더군요.

사진에 분명히 “로봇 메타 태그”는 정상적으로 적용이 되어있어 초록색으로 체크가 표시 되어 있는 것을 알 수 있는데 이걸 왜 넣는지 모르겠습니다.

여러분의 티스토리 블로그에는 robots.txt가 이미 생성되어 있습니다. 이를 확인 하는 방법은 아이디.tistory.com/robots.txt를 입력해 보시면 다음과 같은 robots.txt가 있음을 알 수 있습니다.

위 와 같은 내용이 있는데도 불구하고 오류가 계속 되어 진다면 네이버 서치어드바이저내에 웹마스터도구 아래에 있는 robots.txt에서 수집요청을 클릭해 주세요. 그런 다음 기다려 주시면 해결이 될 것입니다.

수집요청 이후 잠시뒤 “웹페이지 최적화”를 눌러 확인 해 보았더니 문제가 해결이 되었습니다.

이상 티스토리 블로그 네이버 서치어드바이저 등록 후 robots.txt가 존재하지 않습니다. 해결하는 방법을 마치도록 하겠습니다. 티스트로 블로그를 네이버 서치어드바이저에 등록하실 때 조금이나마 도움이 되었으면 좋겠습니다. 감사합니다.