requests 库爬取网页时遇到 jQuery 的 val 函数设置的 Input 标签，无法获取 input 值

2019-01-26 15:38:08 +08:00
 ArtCell

如题，有没有其他的方法能够获取

1775 次点击
所在节点    Python
5 条回复
zhouzheng
2019-01-26 16:17:21 +08:00
Selenium+firefox，这个方案比较麻烦，爬起来也比较慢，但是可以解决所有 js 事件加载等问题。
ArtCell
2019-01-26 16:24:13 +08:00
@zhouzheng 感谢
rekulas
2019-01-26 20:55:10 +08:00
我觉得 headless chrome 更好用些，不过如果页面不复杂的话，分析一下对方如何获取和设置数据的直接抓数据来源是最简单的。 基本的元素分析能力是爬虫工程师必备。
xiaozizayang
2019-01-26 22:57:43 +08:00
自写的框架 https://github.com/howie6879/ruia，支持 js 加载 你可以试试
skinny
2019-01-27 15:10:14 +08:00
Chrome 有一些奇奇怪怪的问题，比如截图有 Bug，还是 Firefox 稳定些。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/530846

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX