[PerlChina] Re: 关于LinkExtor模块的疑惑

 

google抓的太频繁的话会屏蔽你一段时间ip的，baidu的屏蔽时间短一点，我现在间隔都不敢小于1秒

 

 

 

2009-04-14

---

ximiff

---

发件人： xsir317

发送时间： 2009-04-14  15:51:32

收件人： perlchina

抄送：

主题： [PerlChina] Re: 关于LinkExtor模块的疑惑

其实UA还好吧。

 

我今天刚做了个抓取google 和baidu对公司网站搜索结果数的脚本。。

 

一定要设置  $ua->agent('Mozilla/5.0 (Windows; U; Windows NT 5.2; zh-CN; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8'); 不然google是不让你访问的。。。

 

 

2009-04-14

---

xsir317

---

发件人： jyf1987

发送时间： 2009-04-14  15:07:55

收件人： PerlChina Mongers 讨论组

抄送：

主题： [PerlChina] Re: 关于LinkExtor模块的疑惑

UA 太麻烦

Simple太简单 有个折衷的就好了

--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"PerlChina Mongers 讨论组"论坛。
 要在此论坛发帖，请发电子邮件到 perlchina@googlegroups.com
 要退订此论坛，请发邮件至 perlchina+unsubscribe@googlegroups.com
 更多选项，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛

-~----------~----~----~----~------~----~------~--~---