구글 검색 엔진은 대단합니다. 약 한 달전부터 인트라넷 상에서 작업했던 아버지 홈페이지를 오늘 아침에 개인 서버로 외부에 열어보았습니다. 외부에서 스크립트 오류가 나는지, 해킹 위험이 있는지 잠깐 확인하려고 서버를 열었는데 컴퓨터를 끄는 걸 잊어버리고 그대로 출근했습니다. 퇴근하고 집에 오니 아파치 로그가 많이 쌓여 있더군요. 로그를 확인해보니...
무려 3시간 만에 구글봇이 임시 서버에 있는 내용을 싹 등록했습니다.
공사중인 홈페이지도 친절하게 등록해주는 구글 봇.. 결국 임시 도메인이 고스란히 등록됐습니다.
곧이어 야후 봇 등 정체를 알 수 없는 봇들이 임시로 열어놓은 홈페이지를 싹 담아내고 있습니다. ㅡ.ㅡ
곧이어 다음 봇도 서버에 방문했습니다.
구글 봇이 어떻게 제가 잠깐 연 서버를 잘 잡아내서 자동으로 크롤링을 하는지 대단하네요.
임시 홈페이지는 제가 컴퓨터를 끄면 같이 서버가 꺼지기 때문에 접속 안 될수도 있습니다.
댓글을 달아 주세요