[PerlChina] Re: 多进程并行处理多文件，使用共享内存

cpu消耗不大？恩，多线程可能会好点。
-------
twitter : http://twitter.com/smallfish_xy
blog    : http://hi.baidu.com/smallfish_xy

2009/6/8 shanleiguang <shanleiguang@gmail.com>

曾经处理过总量5g的文件，难点在内存，处理效率可用多进程或线程

发自我的 iPhone

在 2009-6-8，下午12:33，梁舒华 <suker413@gmail.com> 写到：

我也去看一下。perlchina真的很好，perlchina里的成员更加nice..

2009/6/6 Michael Zeng <galaxy2004@gmail.com>

多大的文件啊， perl处理 500M 左右的文件 都是可以的

 

加上硬件现在这么强大 

 

 

2009/6/6 Qiang (James) <shijialee@gmail.com>

Gene wrote:
> 需求：有一批文件待处理，每个文件都比较大。需要筛选有用的数据到文件。
>
> 实现：想用多进程实现，主进程按文件数平均分配给10个子进程处理；子进程筛选需要的行PUSH到共享内存的数组里。处理完毕最终打印数组数据到文
> 件。
>
> 对perl的多进程和共享内存不是很了解。请大家帮忙提供下程序框架，谢谢~
>

使用 fork, 每个进程处理一个文件，不清楚你用共享内存做什么，处理完后的行
可以再做单独处理。

fork 教程看这里
http://wiki.perlchina.org/Doing_many_things%2C_like_pings

Qiang(James)

--
           Yours Sincerely
                   Zeng Hong

--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"PerlChina Mongers 讨论组"论坛。
 要在此论坛发帖，请发电子邮件到 perlchina@googlegroups.com
 要退订此论坛，请发邮件至 perlchina+unsubscribe@googlegroups.com
 更多选项，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛

-~----------~----~----~----~------~----~------~--~---