scriptB0y

3 脏数据担心的话花点时间自己写点验证吧，爬虫的脏数据问题我觉得很难 100%避免，没必要追求完全正确，有些是可以发现了再补救的，收益其实会更高一些

2 一般可以看下网站有没有 robots.txt ，不过网站不写的话你也很难知道承受能力，还是尽量不要太快吧

1 @congeec 说的这些问题其实 requests 全都做了，里面有 ConnectionPool, PoolManager，也有客户端 session 自动管理 cookie。爬虫不是很需要框架，其实一个任务队列，很多 worker，一个 scheduler 就够了。不用框架开发更快一些，限制更小，等你有特定需求、自己实现起来困难的时候再调研一下哪个框架满足你的要求也不迟。

@laike9m 这样注释之后，代码中如何解决不让解释器执行没引入的 type 呢？
也是如帖子里的 from __future__ import annotations 那样不执行吗？

不是特别需要最好不要自己搭，坑太多了……

@GreenVine @iwtbauh 原来是这样，那是我孤陋寡闻了，学习了。

@klesh 从服务器这边来说，就是发送。Request Response 的 header 都可以设置 multipart 的，https://stackoverflow.com/questions/26643354/can-i-serve-a-multipart-http-response-in-flask

维护定向爬虫…… 感觉非常适合用外包。

这个东西是存在的，之前对接过一个 api，对面让我每次请求都要上传一个证书文件，请求 body 里面带有请求体，后来我记得是用的 requests 的 multipart，从 wireshark 抓包发现发出的请求的确是包含一个文件，一个 form。

https://www.w3.org/Protocols/rfc1341/7_2_Multipart.html

提出第一种要求的是银行吧，我还见过客户端将服务器 SSL 证书验证写死在代码里，导致人家服务方不方便更换 SSL 证书的。

Twitter，Facebook，星巴克 App，google 这几个从没被 T 过，表扬一下。并且 Google 几个 App 互相登陆特别简单（貌似 App 都不用唤醒另一个的？太长时间没登陆忘记了），特别表扬一下。