거의 7년간 '로렌과 오뚜막' 블로그를 운영해왔지만.. '크롤링 오류'에 대해서 크게 신경쓰지 않았던 것 같다. 그 중에서도 특히 URL오류는 운영자 스스로가 신경을 써야 한다.
과거에 블로그에서 지웠던 콘텐츠라면, 반드시 URL 삭제요청을 해야만 구글 검색에서 더 이상 노출이 되지 않는다.
이 구글봇이라는 녀석이 알아서 자동으로 걸려주진 않는 모양이다. 크롤링 오류는 'Search Console' 페이지에서 확인할 수 있다. 물론 내가 등록한 사이트만 가능하다.
구글 serach console 페이지다. 좌측 메뉴에서 크롤링 오류를 선택하면 우측에 사이트 오류 및 URL 오류가 보인다. URL 오류도 데스크탑과 스마트폰이 따로 따로 표시되어 있다.
헐.. 가장 최근에 업데이트되었음에도 저렇게 많은 오류가 보인다. URL 오류는 soft404 또는 찾을 수 없음 오류가 대부분이다.
스마트폰탭을 눌러보니 차단된 주소가 무려 66개나 보인다.
구체적으로 어떤 부분인지 목록에 나오는 url를 눌러서 확인할 수 있다. 만약에 블로그에서 태그목록도 삭제했다면 그것도 크롤링 오류 대상이 된다.
위 화면은 내 블로그에서 삭제했던 콘텐츠의 주소들이다. 하나씩 확인해보니 모두 직접 삭제했던 콘텐츠가 맞더라.
구글 검색에서 '오래된 콘텐츠 삭제' 요청 방법
설명처럼.. 존재하지 않는 페이지라서 크롤링을 하지 못했다는 메시지가 보인다.
해당 url을 삭제하고 더 이상 표시되지 않게 하려면 일단, 주소를 복사해두고..
구글 search console의 '오래된 콘텐츠 삭제' 페이지에서 붙여넣기후 '삭제 요청' 버튼만 누르면 된다. 삭제된 페이지는 무조건 여기서만 요청할 수 있다. 화면속의 주소를 잘 기억해 두시길~
url 분석이 끝나면 '웹사이트에 없는 콘텐츠입니다'라는 안내 메시지가 보인다. 존재하지 않기 때문에 구글에서 계속 크롤링 차단되는 상황이다. 다시 한번 삭제요청 버튼을 눌러주면..
이렇게 '접수중'인 상태로 바뀌게 된다. 제거 유형은 '오래된 페이지 삭제'~ 요청을 했다고 해서 곧바로 해결되는건 아닌 듯하다. 조금 시간이 걸릴 듯~