[PerlChina] Re: 多进程并行处理多文件，使用共享内存

一般来说只要你不把文件全读进内存，perl可以处理非常大的文件，而且速度是挺不错的。

 

这个时候就要注意正则的效率了。

 

2009-06-08

---

中华连珠网 

 

五子棋百科

---

发件人： 梁舒华

发送时间： 2009-06-08  12:33:47

收件人： perlchina

抄送：

主题： [PerlChina] Re: 多进程并行处理多文件，使用共享内存

我也去看一下。perlchina真的很好，perlchina里的成员更加nice..

2009/6/6 Michael Zeng <galaxy2004@gmail.com>

多大的文件啊， perl处理 500M 左右的文件 都是可以的

 

加上硬件现在这么强大 

 

 

2009/6/6 Qiang (James) <shijialee@gmail.com>

Gene wrote:
> 需求：有一批文件待处理，每个文件都比较大。需要筛选有用的数据到文件。
>
> 实现：想用多进程实现，主进程按文件数平均分配给10个子进程处理；子进程筛选需要的行PUSH到共享内存的数组里。处理完毕最终打印数组数据到文
> 件。
>
> 对perl的多进程和共享内存不是很了解。请大家帮忙提供下程序框架，谢谢~
>

使用 fork, 每个进程处理一个文件，不清楚你用共享内存做什么，处理完后的行
可以再做单独处理。

fork 教程看这里
http://wiki.perlchina.org/Doing_many_things%2C_like_pings

Qiang(James)

--
           Yours Sincerely
                   Zeng Hong

--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"PerlChina Mongers 讨论组"论坛。
 要在此论坛发帖，请发电子邮件到 perlchina@googlegroups.com
 要退订此论坛，请发邮件至 perlchina+unsubscribe@googlegroups.com
 更多选项，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛

-~----------~----~----~----~------~----~------~--~---