Re: [PerlChina] Re: 想问下诸位高手，用perl处理20几个G的文件现实否？

in 7th reply "我的建议是把大文件拆分几个合适大小的文件处理，

然后再把二次结果合并处理。"  by robinson.

the divide-and-conquer method, how to decide the size of each file.
i know that we can divide the file in to small pieces with the line number.

but how much pieces should i mk? how to decide.

once i tried the method months ago.
and i found the mount of threads not easy.
and sometimes the programs only deal with a part of the files.
made me crazy.

thx for ur reply.

2011/7/4 Shu Cao <shucao@gmail.com>

split(1)就可以

2011/7/4 Jinwei Li <jwli.fudan@gmail.com>:

> sorry for interrupt.
> but how to change the file into pieces?
> manually?
>
> how about the size of one piece?
>
>
>
> 2011/7/3 robinsun <wss12cn@gmail.com>
>>
>> 我的建议是把大文件拆分几个合适大小的文件处理，然后再把二次结果合并处理。
>>
>> 在 2011年7月3日 上午10:38，rjhome <rjhome@gmail.com>写道：
>>>
>>> 没什么不可以
>>>
>>> 发自我的 iPhone
>>> 在 2011-7-3，7:32，liseen <liseen.wan@gmail.com> 写道：
>>>
>>> split
>>> perldoc -f split
>>>
>>> 2011/7/2 mandova <mandova1005@yahoo.cn>
>>>>
>>>> 哦谢谢~~~我好久不写perl了，您能告诉我不，如果我想将每行读入一个数组@lines，并且以\t作为分隔，做一些操作，最后写入新文件（也是以
>>>> \t作为分隔），有什么简便的写法呀？~~
>>>>
>>>> On 7月2日, 上午10时58分, Robin Lee <robinlee.s...@gmail.com> wrote:
>>>> > 用 while(<>) 就没问题啦
>>>>
>>>> --
>>>> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。
>>>> 要向此网上论坛发帖，请发送电子邮件至 perlchina@googlegroups.com。
>>>> 要取消订阅此网上论坛，请发送电子邮件至 perlchina+unsubscribe@googlegroups.com。
>>>> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。
>>>>
>>>
>>> --
>>> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。
>>> 要向此网上论坛发帖，请发送电子邮件至 perlchina@googlegroups.com。
>>> 要取消订阅此网上论坛，请发送电子邮件至 perlchina+unsubscribe@googlegroups.com。
>>> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。
>>>
>>> --
>>> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。
>>> 要向此网上论坛发帖，请发送电子邮件至 perlchina@googlegroups.com。
>>> 要取消订阅此网上论坛，请发送电子邮件至 perlchina+unsubscribe@googlegroups.com。
>>> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。
>>
>> --
>> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。
>> 要向此网上论坛发帖，请发送电子邮件至 perlchina@googlegroups.com。
>> 要取消订阅此网上论坛，请发送电子邮件至 perlchina+unsubscribe@googlegroups.com。
>> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。
>
>
>
> --
> ________
> Best Regards & Good Luck.
> Thanks.
>
>
> --
> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。
> 要向此网上论坛发帖，请发送电子邮件至 perlchina@googlegroups.com。
> 要取消订阅此网上论坛，请发送电子邮件至 perlchina+unsubscribe@googlegroups.com。
> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。
>



--

Shu Cao

--

您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。
要向此网上论坛发帖，请发送电子邮件至 perlchina@googlegroups.com。
要取消订阅此网上论坛，请发送电子邮件至 perlchina+unsubscribe@googlegroups.com。
若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。

--
________

Best Regards & Good Luck.

Thanks.

--
您收到此邮件是因为您订阅了 Google 网上论坛的"PerlChina Mongers 讨论组"论坛。
要向此网上论坛发帖，请发送电子邮件至 perlchina@googlegroups.com。
要取消订阅此网上论坛，请发送电子邮件至 perlchina+unsubscribe@googlegroups.com。
若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。