[PerlChina] Re: 如何识别google和baidu的爬虫机器人呢?

user-agent

baidu叫baiduspider

google 叫googlebot

2009/8/24 imxae <imx365ster@gmail.com>

如何识别google和baidu的爬虫机器人呢?

--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"PerlChina Mongers 讨论组"论坛。
 要在此论坛发帖，请发电子邮件到 perlchina@googlegroups.com
 要退订此论坛，请发邮件至 perlchina+unsubscribe@googlegroups.com
 更多选项，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛

-~----------~----~----~----~------~----~------~--~---