네이버 서치어드바이저 색인 생성 오류 해결 방법

저는 최근에 벌쳐(Vultr) 호스팅 업체의 플레스크(Plesk) 요금 인상으로 인한 워드프레스 운영 비용 부담을 절감하고자 네임칩(Namecheap)으로 서버를 이전했습니다.

모든 데이터가 정상적으로 이전 된 것을 확인했지만, 네이버 서치어드바이저의 통계를 확인하는 과정에서 색인과 수집이 정상적으로 이루어지지 않고 있다는 것을 뒤늦게 인지했습니다.

비정상적인 색인과 수집은 구글 애드센스 수익에 악영향을 끼치기 때문에 빠른 시일 내로 문제를 해결해야 했습니다. 실제로 애드센스 수익이 크게 감소했습니다.

지금은 다행히 색인, 수집을 비롯한 모든 문제가 해결되어 수익이 정상화 되었는데요. 어떻게 해결할 수 있었는지 지금부터 설명하도록 하겠습니다.

네이버 서치어드바이저 색인 생성 오류의 발단

지속적인 색인 및 노출 감소

기존에 생성된 색인 수는 186이었습니다. 그러나 위 사진과 같이 호스팅 서버 이전 날짜를 기점으로 색인 수가 점점 감소하는 것을 확인할 수 있었습니다.

네이버 서치어드바이저에서 제공하는 유형별 진단 정보를 보니 색인된 페이지가 10으로 감소한 것을 확인했습니다. 그러나 색인 수가 감소된 만큼 색인 되지 않은 수가 나타나야 하는데 이에 대한 정보가 누락되어 어떤 문서가 얼마나 색인에서 제외됐는지 확인할 수 없었습니다.

게다가 감소된 색인 수에 의해 페이지 노출 수 역시 크게 감소됐습니다. 이로 인해 애드센스 수익이 급감한 결정적인 원인을 알게 됐습니다.

수집 현황의 통계 오류

더욱 심각한 것은 수집 현황의 완료 및 제한 페이지 수의 통계 오류입니다. 이전에는 제대로 보고되었던 통계가 이제는 제대로 통계가 잡히지 않았습니다.

호스팅 서버 이전 도중에 발생한 중복 문서 이슈

원인은 다양하겠지만 저는 벌쳐 서버에서 네임칩 서버로 이전하는 과정에서 발생한 문제라고 예측하고 있습니다. 네이버의 문서 수집 로봇인 예티(Yeti)가 두 서버의 문서를 동시에 수집하여 중복 문서로 인식한 것입니다.

중복 문서는 검색 엔진 SEO에 부정적인 영향을 미칩니다. 사이트의 신뢰도에 직결되는 문제이기 때문입니다. 따라서 기존 벌쳐 서버를 삭제하고 시간이 지나면 해결될 줄 알았지만 해결되지 않았습니다.

네이버 서치어드바이저 색인 생성 오류 해결하기

사이트 상태 확인

모든 가능성을 생각했을 때 사이트 자체의 문제일 수도 있다고 판단하여 사이트 상태를 먼저 점검했습니다. 하지만 보안 인증서, HTTPS 리다이렉션, 사이트맵 모두 정상이었습니다.

문서 수집 로봇에 대한 robots.txt 검사를 진행했을 때도 문제가 없었습니다. 따라서 사이트 자체의 문제는 아니라는 것을 알았습니다.

사이트 재등록 및 경과 분석

네이버 서치어드바이저의 시스템적인 오류일 수도 있다고 판단하여 등록된 사이트를 삭제 후 다시 등록하기로 했습니다. 사이트 등록할 때 RSS와 사이트맵 제출 역시 다시 해야 한다는 것을 잊지 마시기 바랍니다.

등록한 직후에는 통계 자료가 바로 나타나지 않기 때문에 1주일 후에 다시 확인하기로 했습니다.

1주일 뒤에 통계를 확인해보니 문서 색인 수가 다시 정상화 된 것을 확인할 수 있었습니다.

문서 노출 수와 클릭 수 역시 다시 정상화 되었고 애드센스 수익도 다시 복구할 수 있었습니다.

문서 색인과 관련된 오류가 발생할 경우 당황하지 마시고 검색 엔진에 사이트를 재등록하여 경과를 지켜보시기 바랍니다.