이번에는 애드센스를 운영하는 많은 분들이 겪게 되어 걱정과 고민을 많이 하는 문제인 구글 애드센스 광고 크롤러 오류가 왜 발생하고 어떻게 대응하는 것이 가장 좋은지에 대해 알아보려고 합니다.
구글 애드센스 광고 크롤러 오류 때문에 고민입니까?
저는 8월 무효 클릭 때문에 고생했는데요. 무효 클릭 문제에서 겨우 탈피하자 9월 말부터는 광고 크롤러 오류가 매우 발생하기 시작해 또 한 번 혹독한 시련을 겪고 있습니다.
경험을 바탕으로 광고 크롤러 오류가 왜 발생하고 어떻게 대응해야 하는지 말씀드리겠습니다.
구글 애드센스 광고 크롤러 오류가 왜 발생하는가.
- 서버문제
- 2) 과잉수정문제
광고 크롤러 오류는 위의 두 가지로 간주합니다.
서버 문제는 아마 용량 때문인 것 같은데요. 네이버 블로그와 티스토리 블로그를 비교해 보시면 바로 용량 차이를 느끼실 수 있을 것 같습니다.
예를 들면 네이버 같은 경우에는 사진 압축을 안 하고 업로드 해도 잘 돌아가는데 티스토리는 사진을 그대로 올리거나 내용이 조금 길어지면 로드 속도가 쉽게 느려지는 걸 느낄 수 있으니까요.
서버 과부하로 접속이 순간적으로 안되는 경우 발생하는 것 같습니다.
또한 저의 경우 크롤러 오류가 발생한 시점이 무효 클릭을 해결하기 위해 게시물 수정을 매우 많이 한 적이 있는 후에 생긴 것이기 때문에 너무 수정해도 크롤러 발생 원인이 되지 않을까 하는 생각도 듭니다.
이것에 대해서는 정확하지는 않지만 많은 분들이 이야기하고 있고 저도 그렇고 아마 그렇지 않을까 하는 강한 확신은 있습니다. 알고리즘도 당연히 수정할 문장을 좋게 만들지는 않았을 거예요.
구글 애드센스가 설명하는 광고 크롤러 오류의 원인을 보면 대부분 1. 서버 과부하로 인한 오류 2. 접속이 안 되는 오류 두 가지가 가장 많습니다.
두 번째 접속 불능 문제도 결국 서버 과부하가 원인인 경우가 대부분입니다.
결국 구글 고객센터 설명대로 일시적으로 서버 과부하로 인해 광고 크롤러 접근이 어려워지는 경우가 한 번이라도 발생하면 크롤러 오류가 발생하는 것 같습니다.
그리고 이 크롤러 오류는 광고 크롤러가 크롤러 주기(5~7일)에 따라 다시 크롤링 시 크롤링되면 해결된다고 결론을 얻었습니다.
이에 대한 근거는 1. 애드센스 고객센터의 원인을 설명하는 글에 이미 나와 있습니다.2. 티스토리의 답변을 통해 확신하게 되었습니다.
광고 크롤러 오류에 대해 티스토리에도 문의한 적이 있는데요. 광고 크롤러 오류는 오로지 애드센스 크롤러 문제이지 티스토리가 어떻게 할 수 있는 문제가 아니고 크롤러 오류 문제는 일시적인 문제고 다음에 크롤러가 다시 와서 크롤링 해나가면 문제가 해결된다고 했습니다.
결국 크롤링은 에드센스의 크롤링 주기에 따라 크롤링을 다시 시작할 때까지(약 5~7일) 기다리면 크롤링을 하는 것입니다.
크롤러 오류 해결 방법
저는 크롤러 오류가 매우 심해서 많을 때는 10여 개까지 발생한 적이 있는데요. 수익에 상당한 영향을 미치는 것이 매우 고통스러웠습니다.
성장통이라고 긍정적으로 말하는 글도 봤지만 적어도 저 같은 경우는 그렇지 않았어요. 이유는 크롤러 오류가 나는 게시글이 주로 유입이 톱10 안에 드는 것이 주로 나왔기 때문에 수익에 조금 영향이 아니라 굉장히 많은 영향을 받았기 때문입니다.
결국 온라인상에 나돌고 있는 해결방법을 다 써봤어요. 답은 그대로 두는 것이었습니다.
왜냐하면 저는 다 해보고 뭐가 다른지 비교해 봤기 때문이에요.
결론적으로 해결방법은 밑에 1번도 2번도 아니고 바로 3번을 그대로 두는 것이 정답이었습니다.
1.서치 콘솔에 색인 생성 요청: 위에서도 말했듯이, 저는 크롤러 오류 발생 게시물은 유입 수가 많은 글이기 때문에 거의 99% 색인 생성이 이미 잘 되어 있고, 또한 색인 생성 요청이 필요하지 않았습니다.
그래도 혹시 모르니까 강제로 다시 생성 요청도 해봤지만 해결 주기에 영향을 주지 않았어요.
2. 액세스 및 승인 클로라 액세스를 통한 로그인 추가 : 이것도 클로라 오류 문장을 일부 추가 일부 추가하지 않은 결과 해결 시간은 동일하였으므로 해결 방법이 아님을 확인하였습니다.
3. 내버려두기: 위의 1번을 시행한 것, 2번을 시행한 것, 3번을 시행한 것을 동시 테스트해 본 결과 1, 2, 3번의 해결시간은 같았습니다. 단, 인덱스가 작성되지 않은 경우는 작성을 요청해야 합니다.
결론
광고 크롤러 오류 해결 방법은 어떤 조치도 아닌 조치라는 결론에 도달했기 때문에 조금 허무했습니다.
광고 크롤러 오류가 우리를 이렇게 돌아가 해답을 찾게 만든 이유는 무엇일까 생각해봤습니다.
그건 바로 애드센스 고객센터는 말을 아끼지만 결국은 고객센터의 설명이 맞는 부분이 있다는 것을 알 수 있었습니다.
크롤링 주기가 있다는 얘기도 있고 구글 크롤러와 정보는 공유하지만 크롤러가 서로 다르다는 점 등을 이야기하네요.
이 두 가지는 정확히 맞다는 것을 느꼈습니다.
자주 발생하는 원인은 T스토리 서버가 가끔 과부하가 된다는 사실은 어쨌든 서버 용량이 네이버처럼 충분하지 않다는 것은 사실인 것 같습니다. 현재로서는 티스토리가 서버 용량을 늘리기는 쉽지 않을 것입니다.
애드센스 블로거가 할 수 있는 일은 가능하면 로드가 걸리지 않도록 사진 용량 등을 압축하고 내용도 가능하면 필요 이상으로 길게 하지 않는 것이 필요합니다.
가능하면 수정을 최소화하고 크롤러가 다시 크롤링할 때까지 기다려주세요.
다시 정리하면 문장을 간략화하고 특히 이미지를 가볍게 하여 사이트 로드를 최소화할 필요가 있습니다.(오류글 하나는 내가 블로그 초기에 쓴 글로 잘 몰라서 이미지 용량을 줄이지 않고 매우 많은 이미지가 포함된 글을 다시 이미지 용량을 줄이는 것으로 수정했더니 바로 해결된 경우도 있다.)
2. 서버 과부하 및 접속이 안되는 크롤러 오류가 발생할 경우 서치콘솔에서 색인 생성을 확인한 후 안되어 있으면 생성 요청, 되어 있으면 그대로 두면 시간이 지나면 (재크롤링하면) 해결이 된다는 생각입니다.
광고 크롤러 오류로 아직 시행착오를 겪고 계신 분이 계시다면 제 말이 도움이 되었으면 좋겠습니다.