iftop 显示的流出流量和对端 iftop 显示的流入流量差别有 200 倍差别如何排查?

2022-11-29 17:05:52 +08:00
 edis0n0

业务用了十几台腾讯云节点(便宜)爬数据,汇总到阿里云的中心服务器(用久了迁移麻烦),之间通过简易对称加密+HTTP (无 TLS )传输(爬一条传一条,每个节点都是几千并发地上报)(屎山代码,之前写爬虫的人离职了,没人愿意动)

最近调高上报线程数量后发现爬得更慢了,iftop 显示节点的 5Mbps 上行带宽中 7.1Mbps (没写错)(腾讯云面板看总实际上传速率是 5.8Mbps ),被中心服务器占满了,但中心服务器上用 iftop 看从这些节点的下行速度只有不到 30Kbps ,研究了很久也分析不出来多出来的带宽被用到了哪里?我知道阿里和腾讯云间会互相丢包,但也不至于丢 99%的包吧。

(非互联网企业,代码都是能用就行,完全没有什么架构之类的东西)

-------------------结帖 我看错了,中心服务器的下行带宽也是 7Mbps ,我把上行当成下行了----------------------

1205 次点击
所在节点    Linux
1 条回复
edis0n0
2022-11-29 17:33:10 +08:00
上报的数据都是纯文本,不知道为什么带宽消耗这么大,不得不去读屎山了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/898840

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX