Python 怎样去重？已经用了 redis，电脑撑不住

2019-05-06 00:50:09 +08:00
 JAVAER
5115 次点击
所在节点    Python
17 条回复
huntzhan
2019-05-06 01:26:16 +08:00
你提问像蔡徐坤
renmu123
2019-05-06 08:00:38 +08:00
布隆过滤器
est
2019-05-06 08:26:50 +08:00
JAVAER 你好。这不是一个典型的 interview 问题么。
NicholasK
2019-05-06 08:59:00 +08:00
set （）
xiao38245
2019-05-06 09:01:53 +08:00
你的提问简直比怎么毁灭地球还要更宏观
www5070504
2019-05-06 09:30:22 +08:00
这是在黑吗
misttyw
2019-05-06 09:38:13 +08:00
你提问真蔡
grt1st
2019-05-06 10:55:47 +08:00
详细描述看看？
mutalisk
2019-05-06 12:09:54 +08:00
@renmu123 bloom filter 是个好点子
mutalisk
2019-05-06 12:12:20 +08:00
@renmu123 但是有可能会有误判，把不重复的判成重复的吧。
andylsr
2019-05-06 12:21:08 +08:00
@mutalisk 概率很低，自己可以根据情况设置
zonyitoo
2019-05-06 12:22:13 +08:00
你提问像蔡徐坤
renmu123
2019-05-06 12:28:13 +08:00
@mutalisk 误判概率很低，但是效率很高
superalsrk
2019-05-06 13:45:08 +08:00
布隆过滤器啊
ym994561723
2019-05-06 13:51:58 +08:00
集合去重啊
ospider
2019-05-06 13:53:47 +08:00
换 pika，硬盘版 redis
binux
2019-05-06 13:56:44 +08:00
你先把 url hash 一下，不可能撑不住

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/561301

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX