구글 검색 엔진은 대단합니다. 약 한 달전부터 인트라넷 상에서 작업했던 아버지 홈페이지를 오늘 아침에 개인 서버로 외부에 열어보았습니다. 외부에서 스크립트 오류가 나는지, 해킹 위험이 있는지 잠깐 확인하려고 서버를 열었는데 컴퓨터를 끄는 걸 잊어버리고 그대로 출근했습니다. 퇴근하고 집에 오니 아파치 로그가 많이 쌓여 있더군요. 로그를 확인해보니...


무려 3시간 만에 구글봇이 임시 서버에 있는 내용을 싹 등록했습니다.

온통 로그에 GoolgeBot/2.1이 도배되어 있더군요.

공사중인 홈페이지도 친절하게 등록해주는 구글 봇.. 결국 임시 도메인이 고스란히 등록됐습니다.


곧이어 야후 봇 등 정체를 알 수 없는 봇들이 임시로 열어놓은 홈페이지를 싹 담아내고 있습니다. ㅡ.ㅡ

신기한 건 대한민국 소속의 네이버 봇이나 다음 봇 네이트 봇 등은 아직 임시 서버를 긁어가지 않았습니다. ㅎㅎ




곧이어 다음 봇도 서버에 방문했습니다.

구글 봇이 어떻게 제가 잠깐 연 서버를 잘 잡아내서 자동으로 크롤링을 하는지 대단하네요.


임시 홈페이지는 제가 컴퓨터를 끄면 같이 서버가 꺼지기 때문에 접속 안 될수도 있습니다.