p2pCoder 最近的时间轴更新 p2pCoder 最近的时间轴更新
广东深圳
zgbgx
p2pCoder 最近回复了
9 天前 回复了 yanshenxian 创建的主题 › 程序员 › 字符串哈希为 Long 型整数算法有推荐的吗 |
64 位 一般都很难碰撞
机器学习 深度学习里面用的最多是 mumurhash3
存过线性模型，32 位，三千万的模型碰撞位七八万
64 位，75 亿的模型，碰撞为 0
机器学习 深度学习里面用的最多是 mumurhash3
存过线性模型，32 位，三千万的模型碰撞位七八万
64 位，75 亿的模型，碰撞为 0
15 天前 回复了 PopRain 创建的主题 › 问与答 › 有没有可以内网部署的“有道云笔记”软件？ |
企业 wiki：confluence
36 天前 回复了 SystemLight 创建的主题 › 程序员 › CPU 密集型的操作是否只能横向堆机器，从软件层面上没有什么好的解决方案么？ |
性能调优 先跑个 profiler 找下瓶颈在哪
并发的 cpu 密集计算 建议 几方面优化 ，首先是合理的 计算分片，减少线程 进程切换的 cpu 消耗，然后是并行计算要考虑中间结果的缓存，看逻辑上是否有大量的重复计算，最后，就是优化算子，比如 整形 浮点型的位数，字符串转 hash，减少字符串操作，用取 hash 及 hash 后的整数的位运算取代
如果是 java golang python 这些语言，还要考虑在计算密集型的应用中，gc 的巨大压力，以及语言本生的限制，如果最后真的是调优无法达到要求，就建议 c++重写，性能会有质的提升，还可以从编译器以及硬件架构层面进行优化
并发的 cpu 密集计算 建议 几方面优化 ，首先是合理的 计算分片，减少线程 进程切换的 cpu 消耗，然后是并行计算要考虑中间结果的缓存，看逻辑上是否有大量的重复计算，最后，就是优化算子，比如 整形 浮点型的位数，字符串转 hash，减少字符串操作，用取 hash 及 hash 后的整数的位运算取代
如果是 java golang python 这些语言，还要考虑在计算密集型的应用中，gc 的巨大压力，以及语言本生的限制，如果最后真的是调优无法达到要求，就建议 c++重写，性能会有质的提升，还可以从编译器以及硬件架构层面进行优化
37 天前 回复了 seers 创建的主题 › 问与答 › Tensorflow 有没有入门书籍推荐 |
有深度学习基础吗？
肝功正常就没问题
43 天前 回复了 byaiu 创建的主题 › 职场话题 › 想了解一下 C++工作 3 年工资一般能给到多少？ |
推荐引擎 深度学习 和高性能计算
天花板挺高的
天花板挺高的
45 天前 回复了 hanjingzhan 创建的主题 › 问与答 › 是什么让你选择考研？ |
当年考研本校纯粹就是为了在学校再混三年，幸好没考上
如果你是主动选择考研，知道自己考研是为了什么，明确了 ROI，我建议你考
如果你是主动选择考研，知道自己考研是为了什么，明确了 ROI，我建议你考
50 天前 回复了 yuk1no 创建的主题 › 问与答 › 一道面试题给我整懵了，求指导 |
50 天前 回复了 yuk1no 创建的主题 › 问与答 › 一道面试题给我整懵了，求指导 |
@yuk1no 本地 map 速度比写入 nosql 快很多
四十核机器，开 400 个线程从 hdfs 拉去 70 亿行的数据的，处理字符串，存成 long double 的 key value
不超过十分钟，如果是分区增量，就更快了
spark 分布式 开 100 个 executor 写到 redis，与单机的本地 map 写入相比，速度距离差距也很大，要是 hbase，就更慢了
读的速度，本地 map 也快的多
有条件的话，建议找几台大机器自己折腾，做 benchamark
四十核机器，开 400 个线程从 hdfs 拉去 70 亿行的数据的，处理字符串，存成 long double 的 key value
不超过十分钟，如果是分区增量，就更快了
spark 分布式 开 100 个 executor 写到 redis，与单机的本地 map 写入相比，速度距离差距也很大，要是 hbase，就更慢了
读的速度，本地 map 也快的多
有条件的话，建议找几台大机器自己折腾，做 benchamark
Select Language