程序员:茴香豆的茴字有几种写法

252 天前
 arloor

为了实现 Http 正向代理,我分别用 Java 、Go 、Rust 写了三次,真的是软件界的茴字三种写法了,好像是应该嘲讽的一件事,但略一想想,中间还是有一些意义的,所以想分享下。

整个过程是

  1. 在最熟悉 Java 的情况下,首先用 Netty 写了一版,主要意义在于学习了 Netty 。
  2. 然后因为 Java 的内存占用太大,后面又用 Go 写了一把,中间看了 net/http 的实现,看了 Caddy 的部分代码,看了 forwardproxy 插件的代码。
  3. 最后想用无 GC 的语言再写一把,于是我反复入门 Rust ,熟悉 tokio 、hyper 、rustls 等库,又写了一把。

这三个版本在物理的意义上,仅仅是节省了服务器 100M 的内存(相比 Java 版本),但这不是最重要的。

  1. 首先,网络编程稍微偏低层,让我知道了 RPC 、Http 这些应用层程序之下的实现是怎样的,在这个过程学习了《 Unix 网络编程》(最初学了点 C 语言的 tcp 编程)、Http 协议等。
  2. 其次,写出一个有价值的、健壮的 Http 代理,是一个复杂度高到刚好可以用来检验掌握水平的测试,首先要熟悉语言的语法,比如 Rust 里的所有权、闭包、异步 IO 等等,其次需要了解常见的库,比如:命令行参数解析、异常处理、日志、网络库等等。就拿我反复入门 Rust 这件事来说,写出 Rust 版后,我可以说我入门 Rust 50%了,度过了万事开头难的阶段,后面相信会好很多。

我大概是从 17 年开始接触网络编程,看《 TCP/IP 》、《 Unix 系统编程》、《 Unix 网络编程》、《 Java Socket 编程》,基本都是大部头的黑皮书。那时是在大学里,有大把时间。老师的课是那么无聊,所以课外自己折腾了很多。说真的这些书成为我知识体系的重要部分,甚至可以说理解其他东西的基石。

后面开始工作,八股文里经常背的那些中间件,其实根本离不开网络编程,IO 就是这么无处不在。会网络编程后,这些协议在我的脑子里就会变成 tcp 这条流水线上的流淌的真实的有血有肉的东西,不再抽象,因为知道他是怎么通过一次次的 read/write 实现的。无论是 Http 协议、Redis 的 resp 协议、gossip 协议、GRPC 工作原理、各种 sharding/replicate 。还有什么并发编程、事件驱动,在学习 IO 的过程中,遇到 reactor 模式,就必然学会了并发编程、事件驱动。

放一下 Github 的链接,可能会有一些帮助。

1425 次点击
所在节点    程序员
6 条回复
liprais
252 天前
关于 rust 我只能说你过于乐观了
arloor
252 天前
@liprais 还好吧
imzcg2
251 天前
我也想深入请指教
doraemonki
250 天前
看了 go 版的实现,请教一下大佬:
1. 为什么要随机添加 res.Header.Add("Server", "go_web_server")
2. 为什么 https 的请求没有 dail TLS 也能成功呢
arloor
250 天前
1 是为了防止报文长度特征太明显,加入了随机的长度
2 是因为 http connect 隧道的特性,和目标网站的 tls 握手还是浏览器和目标网站进行的,代理只需要建立一个隧道就行。这个可以看下 http tunnel 的 rfc
arloor
250 天前

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/970398

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX