littlekfc's recent timeline updates littlekfc's recent timeline updates |
littlekfcV2EX member #27820, joined on 2012-10-08 21:23:17 +08:00 |
littlekfc's recent replies
Apr 11, 2013 Replied to a topic by HiVPS › VPS › 我们的新KVM VPS服务器即将上线，提供很多免费测试名额 |
最近在玩VPS，麻烦给我一个。[email protected]
Apr 11, 2013 Replied to a topic by soho176 › Python › 用python 做爬虫，抓取网站，在抓取的过程中会碰到重复的网址，随着抓取网址的越来越多，网址库越来越大，如果每次爬到网址都去网址库对比一下 是否重复，这样的结果就是效率越来越低了，有什么办法或者算法 提高过滤重复网址的效率？ |
用bloom filter有个问题，它是有误判的。比如新的一条url，在bloom filter里查得系统已经存在了。但这会有一定的概率是错误的。数据量还不大的话这个概率很小很小。但是随着记录越来越多，误判的概率会增大的。所以，如果业务要求不能漏url的话，bloom filter不适合，否则可以考虑。
Select Language