애드센스 광고 크롤러 오류 해결하기

광고 게재 정지 한 달과 광고 개수 제한 2주 후 한동한 잠잠하던 애드센스 였는데 얼마 전 수익 확인을 위해 접속했더니 노란색 박스 안에 경고표시와 함께 '광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발 샐 할 수 있습니다.'라는 메시지가 떠 있었다.

광고크롤러 오류 페이지

가뜩이나 작고 소중한 내 수익에 문제가 생긴다니 여기저기 혈안이 되어 찾아보기에 이르렀다. 애드센스를 먼저 경험한 분들은 그냥 두면 없어진다고들 하는데 내 성격상 손 놓고 있기에는 찝찝해서 하나하나 찾아보며 광고 크롤러 오류를 수정해 보았다. 

 

오늘은 구글 서치콘솔도 아니고 애드센스 홈페이지에 직접 떠있어 초보 블린이들을 울상짓게 하는 '애드센스 광고 크롤러 오류 수정'에 대한 기록을 남겨보도록 하겠다.

목차

광고 크롤러 오류란?

오류가 발생하는 원인은?

애드센스 광고 크롤러 오류 해결하는 방법

- 서치콘솔을 통한 방법

- 애드센스 홈페이지에서 해결하기

해결 여부 확인하기

 

광고 크롤러 오류란?

크롤링은 '로봇'이라 불리는 구글의 소프트웨어가 내 블로그의 글이나 컨텐츠를 확인하고 색인을 생성해서 노출시켜 주는 작업을 말한다. 그래서 애드센스 광고 크롤러는 내 사이트의 글과 관련성이 높은 광고를 실어주기 위해 애드센스에서 내 사이트를 방문해 콘텐츠를 확인하는 작업을 하는 것이다.

 

이때 구글 로봇 즉 구글 크롤러와 애드센스 크롤러는 별개이므로 이번 문제는 구글 크롤링이 아닌 애드센스 크롤링 문제이기에 구글 서치 콘솔이 아닌 애드센스 홈페이지에 경고성 안내로 나타나 있는 것이다. 크롤러 보고서는 주 1회 업데이트되고 url을 기준으로 색인 생성이 된다.

 

색인이 url기준으로 된다는 것은 내 사이트를 예로 들면 jomo0721.com과 www.jomo0721.com은 다른 사이트로 인식하지만 jomo0721.com과 jomo0721.com/95는 동일한 사이트로 인식한다는 의미이기도 하다. 

 

오류가 발생하는 원인은?

애드센스 광고 크롤러 오류를 확인하기 위해 문제 페이지의 노란색 바 우측의 '작업'을 클릭해 보았다.

작업클릭후 나오는 화면

해당되는 항목은 1개이고 문제 발생 위치가 페이지 하나 인것으로 봐서는 다행히 사이트 전체에 광고 게재 제한 문제는 아닌 것 같아 한시름 놓았다. '문제=크롤러:호스팅 서버에 연결할 수 없음'이라고 표시되어 있지만 빨간색 마킹으로 해결해야 하는 문제는 0이라고 되어있다. 이래서 애드센스 승인을 받은 많은 사람들이 그냥 두면 자연히 해결된다고 한 것 같다.

 

그러나 만일 해결해야 하는 문제에 항목의 개수가 표시되어 있을 경우 애드센스 정책을 위반하고 있다는 의미라고 하니 그럴 경우에는 적절히 조치를 취해야만 한다. 나는 해결해야 하는 문제 항목이 없다고는 되어 있었지만 경고 문구를 내손으로 없애리라 다짐한 상태이기에 해결 방법을 찾아 나섰다.

 

작업 페이지에서 되돌아 나와 다시 문제 페이지에서 문제 항목 아래 파란 글씨로 크롤러: 호스팅 서버에 연결할 수 없음을 클릭해보았다. 

문제설명 화면

그랬더니 상기와 같이 팝업이 뜨고 자세히 알아보기 버튼을 누를 수 있게 되어 있었다. 이 버튼을 누르면 원인으로 추측되는 항목들을 알려주는데 나는 다음과 같은 항목을 확인할 수 있었다.

광고크롤러 문제 원인 리스트

원인을 보니 네임서버에 문제가 있다는데 그 의미는 사이트 서버가 제때 응답하지 못하는 경우라 한다. 서버가 다운되거나 느려지거나 갑자기 과부하가 걸린 경우에 발생한다고 한다. 그러고 보니 한 가지 의심되는 상황이 있다. 문제가 발생한 페이지는 사실 거의 유입이 없었는데 얼마 전 외부유입으로 링크를 걸었던 페이지였다.

 

갑자기 사람들이 몰려들어서 그동안에 비해 요청이 많아져서 서버에 과부하가 걸렸을 수도 있겠다는 생각이 들자 유입이 많이 되어도 광고가 송출되지 않으면 아무 쓸모가 없으니 광고 크롤러 오류 수정에 더더욱 애가 탔다. 그래서 다시금 취할 수 있는 조치에 대해 여기저기 알아보게 되었다.

 

애드센스 광고 크롤러 오류 해결하는 방법

- 구글 서치 콘솔 url검사 후 색인 생성 요청

해결방법에 대해 찾아보니 결국은 애드센스가 아닌 구글 서치콘솔에서 url검사를 통한 색인 요청을 하라는 해결 방안을 접하게 되었다. 그래도 뭐라도 해결 방법이 있으려나 싶어 구글 서치 콘솔에 접속해 메인 페이지 상단에 돋보기 모양의 그림 옆에 문제가 있는 url을 복사 붙여 넣기 해서 검색해 보았다. 

구글 서치콘솔 url검사

뭔가 해결이 될걸 기대하고 진행했건만 1~2분간의 url검사가 끝나고 나타난 화면은 바로 구글 서치콘솔에서는 해당 페이지의 url이 이미 등록되어있다고 나왔다.

서치콘솔 url 색인생성 확인 화면

결국 서치 콘솔에서도 문제가 없기에 가만히 있으면 없어질 경고였는데 다시 한번 내가 너무 오버한 것인가 생각이 들었다. 그런데 여기서 만일 색인생성이 되어 있지 않다고 하면 색인 생성을 눌러 요청해야 한다.

 

이렇게 나와 같은 문제로 서치콘솔 url검사까지 진행했는데 색인이 생성되어 있다고 나온다면 사실 이쯤에서 애드센스 광고 크롤러 오류 수정 작업을 멈춰도 크게 문제는 없다. 어차피 광고 크롤러 오류는 아무것도 하지 않아도 시간이 지나면 사라지는 문제이기에 서치 콘솔의 url검사를 하지 않아도 무방하다.

 

하지만 앞에서도 계속 말했듯이 그냥 둘 거였으면 이렇게 오류 해결을 위해 나서지도 않았을 거고 기록으로 남기지도 않았을 거라서 다른 방법을 찾아보기에 이르렀다.

 

- 애드센스 홈페이지에서 크롤러 로그인 정보 추가

광고 크롤러 오류를 해결하기 위한 다른 방법을 찾던 중 한 가지 방법이 더 있다는 것을 확인했고 실행해 보았다. 그것은 바로 애드센스 홈페이지에서 직접 해결하는 방법인데 순서는 다음과 같다.

애드센스 메뉴바에서 계정 - 액세스 및 승인 - 크롤러 액세스 - 로그인 정보 추가 클릭

애드센스 홈페이지 로그인정보 추가 화면

 

로그인 정보 추가를 누르면 다음과 같은 정보를 추가할 수 있는 화면이 나오는데 입력해야 할 정보는 다음 사진과 같다. 

애드센스 로그인 정보 입력 화면

가장 처음 넣을 정보는 문제가 있는 페이지의 url을 복사 붙여 넣기 하면 된다. 그리고 두 번째는 티스토리의 로그인 페이지 화면의 url을 가져오면 되는데 그냥 내가 쓴 url을 그대로 넣어도 된다. 그리고 로그인 방식은 POST로 선택해 주고 로그인 매개변수는 어려운 말 같지만 사실 티스토리 로그인 ID와 비밀 번호이다.

 

중간에 '='부호가 들어있으므로 첫 줄에는 로그인 ID를 두 번 넣어주고 아래줄에는 비밀번호를 두 번 넣어주면 된다. 그러고 나서 로그인 추가 버튼을 누르면 이로서 로그인 정보 추가 작업은 완료된다.

 

해결 여부 확인하기

작업이 완료되었으면 문제가 해결되었는지 확인하고 싶은 마음이 클 것이다. 하지만 구글 서치콘솔과 애드센스의 거의 모든 문제가 그렇듯 바로 적용되어 바뀌는 것은 없다. 그래서 로그인 정보를 추가하고 나서 애드센스 페이지로 돌아가서 다시 한번 크롤러 액세스 메뉴를 눌러 들어가 보아도 여전히 광고 크롤러 오류 메시지는 떠있다.

크롤러 로그인 정보 재확인

하지만 인내의 시간을 보내고 2~3일 정도 기다리면 다음과 같이 초록색 점과 함께 크롤링이라고 상태가 확인이 된다.

크롤링 여부 확인 페이지

이렇게 또 애드센스 경고 문구 하나를 해결해 보았다. 사실 이런 거 저런 거 신경 쓸 겨를이 없는 사람은 그냥 두면 일주일 정도 후에 없어진다고 한다. 하지만 나처럼 갑작스러운 많은 유입으로 수익에 손실이 발생할 것이 예측이 된다면 그냥 가만히 있는 것보다는 뭐라도 조치를 취해 놓는 게 좋지 않을까 생각해 본다.

 

이밖에 애드센스로 부터 날아온 각종 문제를 해결하고 싶으신 분들은 다음 내용을 확인해 보시기 바란다.

1.ads.txt 문제 해결하기

2.적절한 표준테그(색인생성)문제

3.클릭 할 수있는 요소가 서로너무 가까움