'크롤러 오류' 5일이 지난 후 결과 공유. 애드센스 광고 게재 제한 문제 해결 방법

오늘은 애드센스 광고를 자신의 블로그에 송출하는 사람이라면 한 번씩은 겪는다는 '크롤러 오류'에 대한 이야기를 마저 해보겠습니다. 3대 크롤러 오류라고 불리는 '페이지를 찾을 수 없음', '호스팅 서버 과부하', '알 수 없는 오류'에 대한 해결 방법입니다. 그중에서도 저는 갑자기 '알 수 없는 오류'로 광고 게재 제한을 받았습니다. 며칠이 지난 지금, 광고 게재 제한이 해결되었는지 공유합니다.

 

 

---

  '크롤러: 알 수 없는 오류' 문제 발생과 해결 시도

 

지난 2월 9일경, 갑자기 애드센스 페이지 상단에 경고문이 떴습니다. 크롤러 오류로 인해 수익이 감소할 수 있다는 경고문이었습니다. 애드센스 광고를 블로그에 노출시킨 지 한 달도 채 되지 않았던 시기였습니다. 저의 첫 블로그이자, 첫 애드센스였기 때문에 처음 보는 경고문이 무척 당황스러웠습니다. 크롤러 오류에는 보통 세 가지 종류의 오류가 있습니다.

• 크롤러: 페이지를 찾을 수 없음
• 크롤러: 호스팅 서버 과부하
• 크롤러: 알 수 없는 오류

 

제가 겪은 문제는 세 번째, 알 수 없는 오류였습니다. '페이지를 찾을 수 없는 오류'와 '호스팅 서버 과부하 오류'는 문제의 원인이 분명했습니다. 하지만 '알 수 없는 오류'는 정말 문자 그대로 알 수가 없는 오류였습니다. 애드센스조차 알 수 없는 이유로 제 포스팅이 크롤링되지 않았다는 의미입니다. (네가 모르면 도대체 누가 알아...)

페이지를 찾을 수 없는 오류와 호스팅 서버 과부하 오류는 대개 색인이 제대로 생성되어 있지 않은 원인에서 비롯되었습니다. 많은 블로거들이 구글 서치 콘솔에서 색인을 제대로 생성하고 나면, 대부분 오류가 사라진다고 합니다.

사실 이것도 정확한 해결 방법은 아닙니다. 왜냐하면 구글 서치 콘솔은 단순히 검색엔진에 게시물 URL을 등록하는 수단이기 때문입니다. 서치 콘솔의 크롤러는 애드센스의 크롤러와 전혀 다른 BOT이므로, 오류와 관련이 없을 가능성이 높습니다. 서치 콘솔에 색인 생성을 하니까 애드센스 크롤러 오류가 사라졌다는 블로거들은 아마도 우연히 얻어걸렸을 확률이 높다고 생각합니다. 그래도 오류가 해결된다니 참 다행입니다.

 

하지만 알 수 없는 오류는 아무리 구글링을 해봐도 정확한 해결 방법을 찾을 수 없었습니다. 애드센스 크롤러 고객센터 및 포럼에서도 '알 수 없는 오류'에 대한 문제 발생 원인과 해결 방법은 나와 있지 않았습니다. 저와 비슷한 상황을 겪은 유저가 올린 질문이 있었지만, 답변은 형식적이었습니다.

웹사이트를 운영중이며, 잘 운영하던 구글광고가 수요제한으로 노출되고 있지 않습니다. - Google

 

 

오랫동안 검색을 한 결과, '크롤러: 알 수 없는 오류'를 겪은 많은 블로거들이 시도했던 해결 방법을 모아서 총 4가지로 정리할 수 있었습니다.

1. 구글 서치 콘솔에 색인 요청을 한다. (생성이 되어 있어도 다시 한번 시도하기)
2. 사이트맵과 RSS를 다시 제출한다.
3. 크롤러 액세스에서 '사이트 로그인 정보'를 추가한다.
4. 막연히 기다린다. 시간이 해결해 줄 것이다.

 

1번은 일종의 '미신'이라고 생각합니다. 우리가 '크롤러'라는 단어를 구글 서치 콘솔에서 많이 봤으니, 크롤러 오류가 생겼다고 하면 자연스럽게 구글 서치 콘솔 문제일 것이라고 생각하는 것입니다. 저는 구글 서치 콘솔에 색인 요청을 한다고 해서 애드센스 크롤러 오류가 근본적으로 해결된다고 생각하지 않습니다. 지푸라기라도 잡는 심정으로 색인 요청을 하는 것 같습니다. 2번도 마찬가지입니다. 말은 이렇게 했지만, 저도 색인과 사이트맵을 다시 제출했습니다. 머쓱하네요.

3번은 애드센스 크롤러 액세스에서 저의 티스토리 아이디와 비밀번호를 작성해야 합니다. 아무리 글로벌 대기업의 웹 페이지라고 하더라도 나의 블로그에 가장 중요한 개인 정보를 도저히 입력할 수 없었습니다. 게다가 저는 웹에서 카카오 계정에 로그인을 할 때, 카카오톡으로 인증을 받아야 로그인을 할 수 있는 이중 보안을 설정해 뒀습니다. 그렇기 때문에 사이트 로그인 정보를 입력한다고 해도 크롤러 봇이 제 계정에 로그인을 할 수 없을 거라고 생각해서 의미가 없다고 생각했습니다.

저에게 남은 건 가장 부질없어 보이는 해결책인 4번만이 남았습니다. 그냥 막연히 기다리는 일입니다. 그렇게 오류가 발생한 상황을 지난 포스팅에 글로 정리했습니다.

'크롤러: 알 수 없는 오류' 어떻게 해결하지? 애드센스 광고 게재 제한 해결 방법과 시도

 

 

---

  오류가 발생한 지 5일이 지난 지금은?

 

애드센스 메인 페이지

 

말끔하게 크롤러 오류가 사라졌습니다. 이미지에 나와 있는 '수익 손실 위험'은 제 워드프레스 블로그에 ads.txt 문제가 생겼으니 신속하게 해결하라는 경고문입니다. 문제를 잘 해결했습니다만, 실제로 반영되는 데에는 며칠이 걸린다고 합니다. 저 경고문도 곧 사라질 것입니다.

사실 지난번에 크롤러: 알 수 없는 오류가 처음 발생한 뒤로, 3~4개의 게시물에 같은 오류가 더 발생했습니다. 총 다섯 개의 게시물에 광고 게재 제한이 걸렸습니다. 오류가 한 개에서 다섯 개로 늘어나자 기분도 나쁘고 짜증 나서 캡처하고 싶은 생각이 들지 않았습니다. 오늘 보니까 다섯 개가 전부 말끔히 사라져 있습니다. 이럴 줄 알았으면 그냥 캡처해둘 걸 그랬습니다.

 

아무래도 시간이 약인 것 같습니다. 크롤러 BOT도 실수할 수 있기 때문에 가끔씩 '알 수 없는 오류'가 발생하는 것으로 추측합니다. 며칠 지나서 애드센스 크롤러 BOT이 한번 더 블로그에 방문할 때 대개 오류가 사라질 것입니다. 만약 비슷한 문제를 겪고 계신 분이 있다면, 색인 생성과 사이트맵 제출을 다시 한번 하고 며칠 기다려보시기 바랍니다.

블로그 운영을 하다 보면 항상 자잘한 문제를 여러 개 달고 가는 것 같습니다. 완벽하게 문제가 없는 상태는 거의 드뭅니다. 색인 요청을 하면 '모바일 미지원 오류' 문제가 상습적으로 발생하고, 애드센스는 크롤러 오류가 발생합니다. 하지만 나중에 다시 URL 검사를 해보면 어느새 모바일 지원 페이지로 바뀌어 있고, 애드센스 크롤러 오류는 말끔히 사라져 있습니다. 마음에 여유를 가지고, 시간의 힘을 믿으며 인내하는 것이 가장 좋은 해결책입니다.

 

그 외에도 저의 유익한 정보를 공유해 드리며, 이상 크롤러 오류에 관한 글을 마칩니다.

티스토리 애드센스 승인. 한 번만에 통과한 애드센스 신청 당시 블로그 상태 3가지 공유

티스토리 애드센스 승인. 한 번만에 통과한 애드센스 신청 당시 블로그 상태 3가지 공유

 

티스토리 애드센스 신청 첫 도전. 2023년 최신 애드센스 신청 방법

티스토리 애드센스 신청 첫 도전. 2023년 최신 애드센스 신청 방법

 

1개월 차 초보 블로거 티스토리 검색 유입 상황. 구글 샌드박스 기간이 존재한다?

1개월 차 초보 블로거 티스토리 검색 유입 상황. 구글 샌드박스 기간이 존재한다?