首页   注册   登录
 p2pCoder 最近的时间轴更新
p2pCoder

p2pCoder

V2EX 第 260777 号会员,加入于 2017-10-19 08:51:21 +08:00
今日活跃度排名 2869
p2pCoder 最近回复了
64 位 一般都很难碰撞
机器学习 深度学习里面用的最多是 mumurhash3
存过线性模型,32 位,三千万的模型碰撞位七八万
64 位,75 亿的模型,碰撞为 0
企业 wiki:confluence
性能调优 先跑个 profiler 找下瓶颈在哪
并发的 cpu 密集计算 建议 几方面优化 ,首先是合理的 计算分片,减少线程 进程切换的 cpu 消耗,然后是并行计算要考虑中间结果的缓存,看逻辑上是否有大量的重复计算,最后,就是优化算子,比如 整形 浮点型的位数,字符串转 hash,减少字符串操作,用取 hash 及 hash 后的整数的位运算取代
如果是 java golang python 这些语言,还要考虑在计算密集型的应用中,gc 的巨大压力,以及语言本生的限制,如果最后真的是调优无法达到要求,就建议 c++重写,性能会有质的提升,还可以从编译器以及硬件架构层面进行优化
37 天前
回复了 seers 创建的主题 问与答 Tensorflow 有没有入门书籍推荐
有深度学习基础吗?
38 天前
回复了 NibborQ 创建的主题 职场话题 关于入职体检。。。
肝功正常就没问题
推荐引擎 深度学习 和高性能计算
天花板挺高的
45 天前
回复了 hanjingzhan 创建的主题 问与答 是什么让你选择考研?
当年考研本校纯粹就是为了在学校再混三年,幸好没考上
如果你是主动选择考研,知道自己考研是为了什么,明确了 ROI,我建议你考
50 天前
回复了 yuk1no 创建的主题 问与答 一道面试题给我整懵了,求指导
@hanhan13 方向有点错了,这其实并不是个在线的服务
一次查询千万对数据,这其实是个批处理的接口
输入和输出都不可能直接用 rpc 通信传输
50 天前
回复了 yuk1no 创建的主题 问与答 一道面试题给我整懵了,求指导
@yuk1no 本地 map 速度比写入 nosql 快很多
四十核机器,开 400 个线程从 hdfs 拉去 70 亿行的数据的,处理字符串,存成 long double 的 key value
不超过十分钟,如果是分区增量,就更快了
spark 分布式 开 100 个 executor 写到 redis,与单机的本地 map 写入相比,速度距离差距也很大,要是 hbase,就更慢了
读的速度,本地 map 也快的多

有条件的话,建议找几台大机器自己折腾,做 benchamark
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2975 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 14:18 · PVG 22:18 · LAX 07:18 · JFK 10:18
♥ Do have faith in what you're doing.