 ONLINE |
dingyaguang117V2EX 第 29021 号会员，加入于 2012-10-29 09:52:13 +08:005
 82  49  |
www.co-ding.com
合肥
dingyaguang117
dingyaguang117 最近回复了
2 天前 回复了 kisshere 创建的主题 › 程序员 › 5 年的飞蚊症，想换护眼显示器，艺卓、明基、大上、爱普生投影仪这几个该怎么选？ |
也可能和焦虑和营养不均衡有关。
缺少 VC 也有可能
缺少 VC 也有可能
7 天前 回复了 fademeter 创建的主题 › 分享发现 › 今天上班，看到一个司机哭了 |
8 天前 回复了 Hsinyao 创建的主题 › 问与答 › 请教一下为什么要用 Jupyter Notebook |
方便教学？
8 天前 回复了 moke 创建的主题 › 编程 › 爬虫对不规则结构有什么好的解决方案? |
自己找规律了
@q409195961 你忘了 1k = 1024 了嘛
16 天前 回复了 JL1990 创建的主题 › 问与答 › 数据库写入量比较大，大约每天 5 亿条（读取次数每天 100～ 1000 次），还能保证数据在库中的唯一性？ |
@JL1990
数据库唯一性用的是索引，各种树类，时间复杂度是 logN, 不适合高并发查询。
建议上层单独做一层 hash 去重，使用布隆过滤器之类的数据结构。不要把去重负担全部扔给数据库。
另外看你的意思是尽量保证唯一性，但是偶尔有重复也没关系，这样容易多了。可以用一个 hash 数据结构存过期时间，定期清理，还能保持 hash 表大小不增长呢
数据库唯一性用的是索引，各种树类，时间复杂度是 logN, 不适合高并发查询。
建议上层单独做一层 hash 去重，使用布隆过滤器之类的数据结构。不要把去重负担全部扔给数据库。
另外看你的意思是尽量保证唯一性，但是偶尔有重复也没关系，这样容易多了。可以用一个 hash 数据结构存过期时间，定期清理，还能保持 hash 表大小不增长呢
Select Language