2009年5月17日星期日

[PerlChina] Re: 关于LinkExtor模块的疑惑

抓的太频繁了,google会一直屏蔽,当然也不是让你不能访问,就是每次访问输入验证码,我上次做手机新闻定制,就黄在这个点上了@,@

On 4月14日, 下午4时12分, "ximiff" <xim...@gmail.com> wrote:
> google抓的太频繁的话会屏蔽你一段时间ip的,baidu的屏蔽时间短一点,我现在间隔都不敢小于1秒
>
> 2009-04-14
>
> ximiff
>
> 发件人: xsir317
> 发送时间: 2009-04-14 15:51:32
> 收件人: perlchina
> 抄送:
> 主题: [PerlChina] Re: 关于LinkExtor模块的疑惑
>
> 其实UA还好吧。
>
> 我今天刚做了个抓取google 和baidu对公司网站搜索结果数的脚本。。
>
> 一定要设置 $ua->agent('Mozilla/5.0 (Windows; U; Windows NT 5.2; zh-CN; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8'); 不然google是不让你访问的。。。
>
> 2009-04-14
>
> xsir317
>
> 发件人: jyf1987
> 发送时间: 2009-04-14 15:07:55
> 收件人: PerlChina Mongers 讨论组
> 抄送:
> 主题: [PerlChina] Re: 关于LinkExtor模块的疑惑
> UA 太麻烦
> Simple太简单 有个折衷的就好了
--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"PerlChina Mongers 讨论组"论坛。
要在此论坛发帖,请发电子邮件到 perlchina@googlegroups.com
要退订此论坛,请发邮件至 perlchina+unsubscribe@googlegroups.com
更多选项,请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛
-~----------~----~----~----~------~----~------~--~---

没有评论: