[PerlChina] Re: 多进程并行处理多文件，使用共享内存

都改进了哪些地方阿。。。是否可以共享下:)

2009/6/11 agentzh <agentzh@gmail.com>

On 6/11/09, agentzh <agentzh@gmail.com> wrote:
>
> 如果这些文件的数据量真的很恐怖的话，比如几个 GB，感觉用新浪那哥们的 memcacheq 挺合适的，哈哈，各个 worker
> 进行还可以跨机器，hoho~（我们已经在用经过我们改进之后的 memcacheq 去调度我们的 WebKit 网页视觉抽取集群了 ;))
>
>     http://memcachedb.org/memcacheq/
>

memcacheq 是使用 BerkeleyDB 的 queue 作为后端存储。如果想用 mmap，就用新浪同一个哥们写的 mcqueue:

  http://code.google.com/p/mcqueue/

这哥们同时也是 mecachedb 的作者，呵呵。。。我们进行的压力测试显示这个 queue 比前者要快许多，就是并发能力不及前者。。。呵呵

当然了，自己去折腾 mmap 文件也可以啦，或者在 tmpfs 里搞一个文件弄来弄去，就是需要自己考虑得更多一些。

>
> 如果不怕 perl 的 ithread 报 pool 错误意外崩溃的话，可以考虑用 Thread::Queue 模块：
>
>    http://search.cpan.org/perldoc?Thread::Queue
>

这些多线程的东西确实很 Off Topic 了，请忽略，忽略 ;)

Cheers,
-agentzh

--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"PerlChina Mongers 讨论组"论坛。
 要在此论坛发帖，请发电子邮件到 perlchina@googlegroups.com
 要退订此论坛，请发邮件至 perlchina+unsubscribe@googlegroups.com
 更多选项，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛

-~----------~----~----~----~------~----~------~--~---