cndenis 最近的时间轴更新 cndenis 最近的时间轴更新 |
cndenisV2EX 第 18939 号会员，加入于 2012-03-31 18:24:48 +08:00 |
| 怎么样从网页上扒组件? 前端开发 • cndenis • 93 天前 • 最后回复来自 78786381 | 4 |
| 除了 VPN，还有什么安全方式在外网访问公司资源？ 信息安全 • cndenis • 88 天前 • 最后回复来自 testcaoy7 | 104 |
| Windows 下浏览 HEIC 图片最佳方案是什么?
1 Windows • cndenis • 58 天前 • 最后回复来自 keepRun
|
20 |
cndenis 最近回复了
5 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
@wxf666 如果需要严格不能丢数据的话, 不能单用布隆过滤器.
假设重复率比较低的的话,, 可以做两轮读取
第一轮边读边构造布隆过滤器, 把发现的冲突的行记录到数据库
第二轮先把数据库中值导入新的布隆过滤器, 然后用它来过滤原表, 对有冲突的行查用数据库确证没重复再输出
假设重复率比较低的的话,, 可以做两轮读取
第一轮边读边构造布隆过滤器, 把发现的冲突的行记录到数据库
第二轮先把数据库中值导入新的布隆过滤器, 然后用它来过滤原表, 对有冲突的行查用数据库确证没重复再输出
6 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
如果不是要求严格不能丢数据的话, 可以用布隆过滤器去重, 误判率有公式可以算的, 有几十 GB 级别内存的话, 误判率应该比较低的
6 天前 回复了 silentsky 创建的主题 › 职场话题 › 马斯克说每天要工作 16 小时，所以要吸 k 粉，我最近发现喝茶其实也有不错的效果，能让我每天状态稍微好一点，不容易犯困，也不会那么抑郁了，大家平时是怎么维持良好的精神状态的 |
为了工作不惜吸 K 粉, 求别这么卷吧...
12 天前 回复了 leegradyllljjjj 创建的主题 › 京东 › 东子最新发声「凡是长期业绩不好，从来不拼搏的人，不是我的兄弟 」 |
前线送快递的小哥都不需要打卡, 也没有午休. 这次整的都是坐办公室的.
个人感觉东哥真实把快递小哥当兄弟的
个人感觉东哥真实把快递小哥当兄弟的
15 天前 回复了 LeeReamond 创建的主题 › Python › 想搞服务拆分，日志系统现在一般大厂是怎么做的？ |
@zshineee 写硬盘是依赖最小的, 万一你的日志服务挂了也不至于直接崩掉业务.
你会在这里问这个问题的话, 估计业务量也大不到单纯日志就能写到硬盘性能不够的程度
网关可以用专门的网关, 比如 nginx, apisix, 或是云上的负载均衡服务之类, 它们都有标准化的日志.
你会在这里问这个问题的话, 估计业务量也大不到单纯日志就能写到硬盘性能不够的程度
网关可以用专门的网关, 比如 nginx, apisix, 或是云上的负载均衡服务之类, 它们都有标准化的日志.
15 天前 回复了 LeeReamond 创建的主题 › Python › 想搞服务拆分，日志系统现在一般大厂是怎么做的？ |
日志直接写硬盘, 部署日志同步程序上传到日志系统, 比如 ELK, 阿里云 SLS 之类
15 天前 回复了 lesismal 创建的主题 › 程序员 › HTTPS 用明文传输密码的问题，看到很多次了，个人观点不赞成，单开个帖 |
安全有一个原则叫纵深防御, 就是当一个防护被突破后, 有另一层防护, 会更安全.
就好比说数据库已经有密码保护了, 为啥不能往数据库里存用户口令明文呢?
同意#5 的看法, 口令 Hash 可以避免受到中间人攻击时, 口令明文被用于在别的网站上做碰撞
就好比说数据库已经有密码保护了, 为啥不能往数据库里存用户口令明文呢?
同意#5 的看法, 口令 Hash 可以避免受到中间人攻击时, 口令明文被用于在别的网站上做碰撞
Select Language