Re: 答复: 答复: [PerlChina] 寻找更快的数据搜寻方案

THank You 宇捷。这个方案也不太适合。

我想先做一下测试再做进一步的决定吧。

2009/11/10 宇捷 <hfahe@163.com>

如果可以允许少量的错误，作为hash的替代方案，可以使用bloom filter。

 

发件人: grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@googlegroups.com [mailto:grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@googlegroups.com] 代表 alexe.cn@gmail.com

发送时间: 2009年11月7日 23:09
收件人: perlchina@googlegroups.com
主题: Re: 答复: [PerlChina] 寻找更快的数据搜寻方案

 

Berkeley DB or Tokyo Cabinet也不是我想要的方案。

我自己再看看吧。好像记得在perlchina会上和李俊良或者是agentzhang谈起过。记不清了。

2009/11/6 cnhack TNT <cnhacktnt@gmail.com>

Berkeley DB or Tokyo Cabinet ?

2009/11/6 joe jiang <lamp.purl@gmail.com>

 

Hash 的 Hash 也许是个办法，或者用 Load Balance 来实现多节点的分担。

减少 Hash 的数据量可能会提高效率。

2009/11/6 <alexe.cn@gmail.com>

 

...具体说一下：数据条数在100-1200万之间吧。读入后内存占用量到10G左右。

现在，我需要在这10G数据中快速查找到我想要的数据，现在用hash存储这些数据然后来查找的话我感觉速度不是很快，所以想问问大家有没有更好的解决方案，或者是相关的算法。

或者遇到这种问题，该从哪方面入手？

 

Thank You,

Alexe

Blog:http://alexe.cublog.cn/

 

2009/11/6 宇捷 <hfahe@163.com>

 

100万条记录其实不多，要看你的记录是什么数据类型，这不是perl的问题，而是算法的问题。

 

发件人: grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@googlegroups.com [mailto:grbounce-_mwj1quaaadplfc8fq-7oyyqfcvs3wxt=hfahe=163.com@googlegroups.com] 代表 alexe.cn@gmail.com
发送时间: 2009年11月5日 22:02
收件人: perlchina@googlegroups.com
主题: [PerlChina] 寻找更快的数据搜寻方案

 

Hi all,

 

我现在需要将大约100万条记录存储到hash中，然后在这个hash中查找某一个数据，或者删除某个数据。

因为hash本身遇到这么大的数据量不占优势，例如会比数据本身多占用更多的内存，数据量太大以后搜索的速度并不是很快等等

 

谁有更好的Perl方案适合这种项目？

 

 

 

Thank You,

Alexe

Blog:http://alexe.cublog.cn/

 

 

 

 

 

 

--~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"PerlChina Mongers 讨论组"论坛。
 要在此论坛发帖，请发电子邮件到 perlchina@googlegroups.com
 要退订此论坛，请发邮件至 perlchina+unsubscribe@googlegroups.com
 更多选项，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问该论坛

-~----------~----~----~----~------~----~------~--~---