'호스팅 서버를 찾을 수 없음' 지긋지긋한 애드센스 크롤러 오류 해결하는 단 1가지 방법.

오늘은 수익형 블로그를 운영하면서 애드센스를 이용하면, 꼭 겪는 '크롤러 오류: 호스팅 서버를 찾을 수 없음'에 대해 이야기해 볼까 합니다. 지난번에는 '크롤러 오류: 알 수 없는 오류'로 한바탕 고생했었는데, 이번에는 '호스팅 서버를 찾을 수 없음' 오류가 말썽입니다. 혹시나 비슷한 오류를 겪는 분들에게 도움이 될까 해서 해결 방법을 공유해드리고자 합니다.

 

 

---

  '크롤러 오류: 호스팅 서버를 찾을 수 없음' 해결하기

 

크롤러 오류: 호스팅 서버를 찾을 수 없음

 

최근 게시물부터 크롤러 오류가 다시 발생하기 시작했습니다. 2023년 1월 말에 크롤러 오류: 알 수 없는 오류가 발생한 지 어언 한 달 만에 새로운 오류가 발생했습니다. 문제가 되는 포스팅은 3개입니다. 특히 가장 큰 문제가 발생한 포스팅은 아래의 '도쿄 가마쿠라 여행' 포스팅이었습니다.

이 포스팅을 업로드하던 날이 기억납니다. 업로드를 하고 으레 평소처럼 구글 서치 콘솔에 색인을 요청하려고 했는데 색인이 불가능하더라고요. 애드센스 포럼, 티스토리 마이너 갤러리, 애드센스 스쿨 네이버 카페 등 다양한 곳에 확인을 해보니 저만 겪는 문제가 아니었습니다. 저와 비슷하게 색인 생성이 불가능하다는 경고문을 받은 분들이 많았습니다. 아마도 게시물 자체의 문제가 아니라, 티스토리 서버 및 robot.txt에서 오류가 발생한 듯했습니다.

사실 티스토리의 자잘한 오류는 한두 번 겪는 일이 아닌지라, 이런 경우는 조금 기다리면 다시 색인 생성이 가능합니다. 하지만 저는 이때 약간 티스토리의 불안정한 서버에 살짝 한숨이 나왔던 것 같습니다. 다음에서 카카오로 이관된 이후로 티스토리 블로그는 조금씩 삐걱거리기 시작했거든요.

도쿄 근교 가마쿠라 여행) 하세 역 상점가와 고토쿠인 불상 2배로 즐기기

도쿄 근교 가마쿠라 여행) 하세 역 상점가와 고토쿠인 불상 2배로 즐기기

 

 

구글 서치 콘솔 색인

 

위의 도쿄 근교 가마쿠라 여행 포스팅은 다음날 아침에 일어나서 다시 구글 서치 콘솔에 색인 요청을 하니 정상적으로 접수되었습니다. 아무런 문제도 없었습니다. 색인 생성이 잘 되었을 뿐만 아니라, 모바일 지원 페이지, https를 통해 제공되는 페이지 등 보안도 좋을 뿐만 아니라 SEO적으로 인증을 받은 게시물입니다.

문제는 그 날 오후에 발생했습니다. 갑자기 애드센스 페이지에서 또 광고 게재 제한 알림이 뜨더라고요. 역시는 역시였습니다. 티스토리 서버 자체의 불안정으로 인한 피해를 제가 고스란히 받게 된 것입니다. robot.txt에 연결할 수 없음 오류, 호스팅 서버를 찾을 수 없음 오류, 알 수 없는 오류 3단 콤보를 제대로 맞았습니다.

 

애드센스 크롤러는 꽤 예민한 것 같습니다. 보통 애드센스 심사를 하면 2주, 약 14일이 걸리는 것은 다들 알고 계실 것입니다. 하지만 그 도중에 사이트에 무슨 문제라도 생기면 바로 '사이트 다운' 혹은 '사이트 과부하'로 인해 사이트를 찾을 수 없다면서 애드센스가 거절이 됩니다. 일반적으로 워드프레스 블로그를 운영할 때 자주 발생하는 일입니다.

워드프레스는 호스팅 업체에서 유료 도메인을 구매한 후 자신의 블로그에 입혀서 운영하는 방식입니다. 호스팅 업체는 보통 '카페 24', '호스팅케이알', '가비아' 등을 이용하는데요. 이 호스팅 업체가 혹여나 디도스 공격이라도 받으면, 업체에서 도메인을 구매해 이용하는 블로거들의 사이트가 전부 먹통이 됩니다. 자기 블로그 사이트가 접속이 되지 않을 뿐만 아니라, 애드센스 심사를 받고 있었던 도중이라면 사이트를 찾을 수 없다는 이유로 바로 승인이 거절됩니다. 호스팅 업체의 관리 미흡으로 인한 사고인데, 블로거는 꼼짝없이 2주를 또 기다려야 합니다.

 

저는 이번에 티스토리 서버가 잠시 불안정했던 것이 즉각 애드센스에 반영이 된 것 같다고 판단하고 있습니다. 그렇지 않고서야 멀쩡한 포스팅이 뭘 잘못했다고 크롤러 오류 3종 세트를 한 번에 줍니까? 산타할아버지의 선물도 아니고 말입니다.

 

해당 포스팅 광고 정상 송출

 

아이러니하게도 문제의 포스팅은 광고가 정상적으로 송출되고 있습니다. 구글 크롬 시크릿 창에서도 정상적으로 나옵니다. 광고 게재 제한은 무슨, 광고가 넘치다 못해 풍족합니다. 이전에 '크롤러 오류: 알 수 없는 오류'로 인해 광고 게재 제한을 받았을 때도 여전히 포스팅에서는 광고가 정상적으로 송출되고 있었습니다.

 

📌 지난 번, '크롤러: 알 수 없는 오류' 관련 포스팅 🔽

'크롤러: 알 수 없는 오류' 어떻게 해결하지? 애드센스 광고 게재 제한 해결 방법과 시도

'크롤러: 알 수 없는 오류' 어떻게 해결하지? 애드센스 광고 게재 제한 해결 방법과 시도

---

'크롤러 오류' 5일이 지난 후 결과 공유. 애드센스 광고 게재 제한 문제 해결 방법

'크롤러 오류' 5일이 지난 후 결과 공유. 애드센스 광고 게재 제한 문제 해결 방법

 

 

---

📌 보통 애드센스 크롤러 오류가 발생해서 광고 게재 제한을 받았을 경우, 일반적으로 여러 블로거들과 전문가들이 제시하는 해결책은 구글 서치 콘솔에 다시 한번 색인을 요청하는 것입니다. 보통은 색인이 되어 있지 않고, 색인이 되어 있다고 하더라도 다시 한번 색인을 요청하면 해결이 된다고 합니다.

저는 그 방법을 믿지 않습니다. 정확하지 않은 방법이라고 생각합니다. 애드센스 크롤러 오류에 관한 구글의 고객센터의 글을 읽어보면, 애드센스의 크롤러와 구글 서치 콘솔의 크롤러는 엄연히 다른 로봇이라고 언급하고 있습니다. 블로거들은 지푸라기라도 잡는 심정으로 구글 서치 콘솔을 색인함으로써 부디 애드센스의 문제도 해결되길 바라는 마음이었던 것입니다. 색인이 이미 잘 생성되어 있는 것을 구태여 한번 더 색인 요청을 한다고 뭐가 달라질까 싶습니다. 의미가 없는 일이라고 생각합니다.

애드센스 광고 크롤러에 대한 정보 - Google 애드센스 고객센터

 

 

제 경험상, 애드센스 크롤러 오류를 해결하는 방법은 딱 하나입니다. 시간의 힘을 믿으세요. 그냥 기다리면 자연히 없어집니다. 애드센스 광고 게재 제한에는 크게 두 가지 종류가 있습니다. 하나는 우리가 지금 다루고 있는 '크롤러 오류'입니다. 나머지 하나는 '정책 위반'으로 인한 강력한 광고 송출 중단입니다. 후자의 경우 반드시 문제를 수정하고 반영해야 합니다. 애드센스 정책을 위반할 경우 블로그 전체에 광고가 중단될 수 있고, 심하면 애드센스 계정 자체가 정지될 가능성이 높습니다. 정책 위반은 시간을 써서라도 해결해야 할 중요한 문제가 맞습니다.

하지만 크롤러 오류는 그저 단순한 오류입니다. 애드센스 크롤러가 내 사이트를 제대로 못 읽었을 수도 있는 것입니다. 로봇도 실수를 합니다. 여러 가지 이유가 있을 수 있습니다. 내 블로그 게시물도 잘못이 없고, 애드센스 크롤러도 잘못이 없는데, 티스토리 서버의 자잘한 오류 발생이라던지, 위의 워드프레스 예시처럼 호스팅 업체가 디도스 공격을 받았다던지 하는 등 다양한 이유로 크롤러 오류가 발생하기도 합니다.

 

---

크롤러 오류 결과

 

❗ 이것 좀 보세요. 포스팅을 쓰다가 문득 생각이 나서 애드센스 페이지를 다시 방문했는데, 어느새 크롤러 오류 하나가 사라져 있습니다. 맨 위에 제가 업로드한 이미지를 다시 한 번 보고 오시길 바랍니다. 크롤러 오류 3단 콤보를 먹었던 포스팅이 지금 말끔하게 사라져 있습니다.

저는 아무것도 건들지 않았습니다. 색인 요청을 다시 하지도 않았고, 크롤러 액세스에 로그인 정보를 입력하지도 않았습니다. 그냥 어련히 해결이 되겠거니, 생각하면서 내버려두고 꾸준히 포스팅을 늘리는데만 집중했습니다. 아마도 티스토리 자체의 robot.txt가 안정화되면서 관련 오류들이 사라진 모양입니다.

장담하는데, 아직 사라지지 않은 두 개의 크롤러 오류도 조만간 사라질 것입니다. 신고된 날짜를 보면 앞으로 2~3일 내에 둘 다 사라질 거라고 장담합니다. 별로 신경 쓰이지도 않습니다.

 

 

---

  중요한 것은 꾸준히 글을 쓰는 마음

 

초보 블로거들에게 이런 오류들이 하나씩 발생한다는 것은 도움이 되면서도 한편으로는 안타까운 일입니다. 초보 블로거들은 앞으로 하나씩 커다란 시련들을 맞이하게 될 것입니다. 티스토리를 운영한다면 언젠가는 필연적으로 저품질을 맞을 수도 있을 것이고, 펍벤으로 인해 유입이 거의 없어질 수도 있습니다. 나는 열심히 썼는데 애드센스 정책 위반을 맞고 글을 지우거나, 최악의 경우에는 애드센스 계정 자체가 정지될 수도 있을 것입니다.

잘 되던 색인이 갑자기 생성이 되지 않으면 덜컥 겁부터 납니다. 애드센스 포럼, 티스토리 마이너 갤러리, 애드센스 스쿨 카페 등등 다양한 곳에 질문을 남발하기 시작합니다. 초보들의 질문이 하나같이 거기서 거기인 까닭이 있습니다. 잘 모르기 때문입니다. 처음 경험해 본 것이기 때문에 두려운 것은 당연합니다.

하지만 오늘의 주제와 같은 크롤러 오류는 여러분이 그렇게 시간을 투자해가면서 해결할 만한 가치가 있는 오류가 아닙니다. 이 같은 오류에 한나절, 하루 종일 시간을 쓰면서 스트레스를 받는 것이 참 안타깝습니다. 결국 시간이 흐르면 자연스럽게 사라질 문제입니다. 정 신경이 쓰이면 색인 요청을 한 번 더 하고, 시크릿 창에서 광고가 잘 송출되는지 살펴보세요.

 

🔊 그런 오류에 마음을 쓰기보다는 그 시간에 포스팅을 한 개라도 더 발행하는 것이 가장 큰 해결 방법일 것입니다. 이 세상에 오류 하나 없이 완벽하게 수익형 블로그를 운영하는 사람은 단 한 명도 없을 것입니다. 제 지인 분 중에 일일 방문자수 평균 1~2만 명 정도 하는 분이 계십니다. 여행 정보 및 생활 정보를 주로 포스팅하는 분인데, 애드센스 페이지에 가면 온갖 잡다한 '크롤러 오류'를 수십 개씩 주렁주렁 달고 계십니다. 서치 콘솔에서는 '색인이 생성되지 않은 페이지'만 수천 개가 넘습니다. 하지만 오류가 생기든지 말든지 그분의 수익은 상상을 초월합니다.

포스팅 하나에 생긴 광고 게재 제한을 해결하려고 하루 종일 애쓰는 것보다, 차라리 그동안 2개, 3개의 포스팅을 발행하는 것이 수익 측면에서 훨씬 이득이라는 의미입니다. 그리고 짧으면 2~3일, 길면 일주일 안에 크롤러 오류는 자연히 없어질 것입니다. 시간이 가장 훌륭한 해결책이라는 사실을 말씀드리고 싶었습니다.

블로그를 운영하다 보면, 블로거가 가져야 할 자질이 명확해집니다. 여유와 성실함과 인내심입니다. 그리고 좋은 키워드를 발굴하는 능력도 중요하겠지요. 하지만 여유와 성실함과 인내심이 뒷받침되지 않으면 아무리 좋은 키워드를 발굴하는 재능이 있다고 하더라도 블로그로 원하는 수익을 쌓기는 힘들 것입니다. 길게 보시고, 꾸준히 양질의 글을 발행하는 데에만 집중하시길 바랍니다. :) 

 

---

오늘은 이렇게 크롤러 오류에 대해 어떻게 해결하는지, 그리고 저의 조언을 담아봤습니다. 글이 길어지고 장황한 감이 없잖아 있지만, 저의 진심을 가득 담았으니 부디 도움이 되었으면 좋겠습니다. 

 

📌 이외에도 저의 유익한 정보 포스팅을 공유하며, 이만 글을 마칩니다.

1개월 차 초보 블로거 티스토리 검색 유입 상황. 구글 샌드박스 기간이 존재한다?

여유를 갖는 법과 여유 있는 사람의 특징 4가지. 마라톤과 티스토리의 공통점?

승인 직후, 티스토리 애드센스 광고 안나옴 현상 해결 방법 3가지