facebook 爬虫

2019-08-02 22:39:32 +08:00
 huyia

最近在研究 facebook,推特爬虫,发现网站加载了一大堆的 js 代码,网上查询了一下,这是使用了 chunk 技术,由服务器一段一段的分发加密数据给客户端,然后由 js 解密。我想实现只用 python 请求库来完成这个爬虫,不用 splash 等自动化插件,但是发现很难下手,哪位兄弟能指点一下我该怎么继续下去,求指教

4938 次点击
所在节点    JavaScript
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/588664

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX