Re: [PerlChina] 请教网页分析模块（类似搜索爬虫）

早前我有提及过Python的Scrapy的...可以一试.

于 2011年11月18日 12:20, Cloud Liu 写道:

感谢回复！ 

我只需要一个抓取的模块，可以把我要的URL页面内容全部抓下来，然后根据抓取的页面包含的URL循环抓取，分析的话我会根据需求 自己写，

在 2011年11月18日 下午12:12，cnhack TNT <cnhacktnt@gmail.com>写 道：

如果不是特别复杂的需求，可以用 Web::Scraper 抓取网页做分析，至于深入抓取，自己写个简单算法好了。

成熟的爬虫框架，可以参考 https://metacpan.org/module/Combine 

2011/11/18 Cloud Liu <cloud.liuzj@gmail.com>

请教各位，现有一个需求是抓取网页的内容，然后分析网页上的URL和内容，有可能 需要一层一层的URL深入抓取，有类似的模块吗？还是要自己写算法？有点类似搜索引擎的爬虫。请各位不吝赐教， 谢谢！

--  我的博客 -- http://blog.yixinit.com/ 诸法从缘起，如来说是因。 彼法因缘尽，是大沙门说。