如何爬取用了动态渲染标签属性值的网站?

2019-04-14 23:28:50 +08:00
 hkitdog

刚刚接触爬虫不久,想找个网站练下手, 在墙外闲逛时,发现一个界面挺有趣的单页面应用,看了下结构,头都大了,是这样子的

https://i.loli.net/2019/04/14/5cb34cd3c71b6.png

每隔 10-15 分钟,重新载入页面时 class 的值又换了

看了下请求 json 数据的 ajax api, 有个自定义头部 x-li-device,应该是签名用的,js 好像混淆了,没找到关键代码在哪

https://i.loli.net/2019/04/14/5cb34e742faf2.png

网站地址: https://lihkg.com/ 要梯子才可以上.

314 次点击
所在节点    问与答
2 条回复
hkitdog
2019-04-14 23:29:11 +08:00
..第一次发图,怎么不显示呢。。。
Eiden
2019-04-14 23:34:21 +08:00
js 打断点慢慢追踪

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/555131

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX