V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  firefox12  ›  全部回复第 60 页 / 共 63 页
回复总数  1247
1 ... 52  53  54  55  56  57  58  59  60  61 ... 63  
感觉都疯了, 人人都在谈房子。 不是崩溃就是 继续高涨
2016-02-26 13:39:58 +08:00
回复了 aljun 创建的主题 Python 提高爬虫性能,都有什么奇技淫巧呢( python 方面)
也不能修改,
以上经验适用于 2010 年 15 分钟抓取京东全商品数据。

linode 512M vps 4cpu 满核, c++ ,200-500 connection.

6 年前的经验了,也不知道行不行了。看着用吧
2016-02-26 13:35:52 +08:00
回复了 aljun 创建的主题 Python 提高爬虫性能,都有什么奇技淫巧呢( python 方面)
下载 分析 主控 要分开。
2016-02-26 13:34:58 +08:00
回复了 aljun 创建的主题 Python 提高爬虫性能,都有什么奇技淫巧呢( python 方面)
cache 啊 根据 http 的 cache head 决定是否要继续获取
pipeline 获取, 不要重建链接
本地 tcp 栈优化,加快端口释放
代理服务器
dns 本地服务器,预热你要用的 dns 地址
利用 17ce 这样的网站查询 服务器的所有 ip,提高使用效率
分析和下载处理分开处理,不要让字符解析占有太多 cpu.
加强 recv timeout 的智能判断,在服务器响应不佳的情况下,减少链接数目,让服务器退回服务质量。
用 c++
提高算法,链接命中算法

.... 至于 内存控制这种,估计你也不会去做。
ttl 设置为 10 这完全是太低了,不是个合适的数值。
2016-02-21 19:48:08 +08:00
回复了 eas 创建的主题 Linux Linux 下 tcp 通讯程序的阻塞问题
之前有简单 tcpdump 过,好像是收发包都速度快的,好像是网络传输的问题。

..... 这是什么情况,看服务器的 tcpdump 数据 看 recv 和 send 的时间差是多少 如果是 1 秒多 那么就是服务器的问题,如果是 0.001 秒 那么服务器就没问题,要么就是客户端和网络。

然后看客户端的 send 和 recv 时间查,情况同上。

如果 2 个都是 0.001 秒 那么就是网络问题。 还有可能就是 客户端的 send 时间戳 你算得不对。
2016-02-20 20:40:06 +08:00
回复了 eas 创建的主题 Linux Linux 下 tcp 通讯程序的阻塞问题
tcpdump 先在 2 边抓包 确定, 是服务器发包慢, 客户端收包慢 还是网络传输问题。

200 客户端都出现这个问题 C1000k 怎么办
2016-02-19 12:44:46 +08:00
回复了 ifconfig 创建的主题 程序员 网站被恶意调用发送验证码接口,已经要疯了!!!
图形校验码啊
猜也就是这样
oceanbase 的开源版吗
融 3 轮才 a 轮你们的 pre a 真多啊
2016-02-05 08:40:00 +08:00
回复了 WIwindson 创建的主题 职场话题 怎样的公司细节会让你面试的时候转头就想走
问上家工资多少钱很正常。你现在多少钱和老板会给你多少钱也没关系,他就看你诚信吗?

大多数问题都很正常。比如学到什么?这个可以看你的沟通和概括能力 比如技术方面 哪些技术点 流程方面 原来不知道的 线上故障处理 有哪些 项目方面 学到哪些 根据你的水平年限 你会总结出那种对你最重要。工作不是浑浑噩噩的说我干了 2 年,每天做了老板给的代码要求 没了。

很多面试官很不职业 你的表现更不职业只能显得你 low 。再有一点 网络很发达,去之前网上搜索一下对它们的评价。这才是高效的做法。
2016-02-04 15:31:56 +08:00
回复了 morefreeze 创建的主题 git 求助:项目中的 protobuf 及生成的文件在 git 下如何管理?
pb 生成的 java cpp 文件不要提交。
在构建的时候,自动导出,

第一可以防止 pb 文件和 cpp 文件不统一
第二 可以测试不同 protoc 环境下的兼容问题
第三 就是解决你的问题
知道流氓你还用,那也就没办法了
服务器端不保留用户信息吗?
2016-01-15 10:13:00 +08:00
回复了 alexapollo 创建的主题 程序员 后台程序开发:性能的极限是什么?
这种没有硬件环境配置,业务要求特点的 测试条件,测试方法,以及最终测试结果的 C10M 文章是没有意义。

后端业务 是那种业务, CPU 的负载有多重,简单的 echo 和要进行大量计算的业务完全是 2 个概念的程序。说到 c10M, 那么需要搞清楚 每个连接上的业务请求频率和大小,这点对性能的影响也是数量级别的,
业务本身的特点 也会完全影响性能,是大量短连接 不断的断开连接,还是长连接,这在链接对象的重用和侧重点上也是完全不一样的。

既然已经做到 c10M ,想必你也知道原生的 TCP / IP 堆栈无法良好的处理网络,需要改底层,但是我觉得在这方面继续深究下去,不如在对水平可扩展性的方面加以研究,一套业务层可以快速水平扩展的系统意义更大。 垂直扩展,到 C1M C2M ,的时候 CPU Mem 基本上负载已经很高。
以服务业务对象来看,如果到 tx 这样 7 亿用户 c1M, 也只需要 700 台主机就可以完全接受服务。当然你也知道在那种规模 700 和 70 没有什么意义,更大的瓶颈根本不在这里。更多只是一个理论值。
2016-01-06 17:57:02 +08:00
回复了 yuankui 创建的主题 Go 编程语言 Go 语言的自省能力是不是很弱?
你不知道 动态一时爽,重构火葬场吗?
2016-01-05 13:13:26 +08:00
回复了 Hancockjia 创建的主题 奇思妙想 这样的租房平台你们喜欢吗?
@Hancockjia

问题是你有办法让这个游戏按照你的方法转动起来吗?

拿钱砸,规模效应。 房东都来这里,按照真实情况,补贴。 你补贴得起吗?
出现问题, 你的解决手段 能起效吗? 你有专业的法律 和黑白社会 搞定 黑房东和房客吗?
可以的话, 去做吧, 不行的话, 继续在这里瞎想吧。

最后空想是没有意义的,所谓秀才造反, 10 年不成,就是这样。
1 ... 52  53  54  55  56  57  58  59  60  61 ... 63  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3796 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 05:13 · PVG 13:13 · LAX 22:13 · JFK 01:13
Developed with CodeLauncher
♥ Do have faith in what you're doing.