请问有什么办法或者网站抓取滚动数据?

2014-11-18 23:11:47 +08:00
 bobopu
之前问过定时抓取网站数据的帖子,有朋友推荐了两个网站使用起来还不错,但是现在遇到一个问题是无法抓取滚动列表的数据,请问还有什么工具或网站可以定时抓取呢?
2556 次点击
所在节点    程序员
3 条回复
jprovim
2014-11-19 04:32:32 +08:00
不能, 如果需要交互的話, 比如說鼠標滑至最底出現另外一個頁面(unlimit scroll), JS代碼的話, 普通的爬蟲是不行的, 除非
1. 用headless browser
2. 或者分析JS代碼直接找到規律, 爬取類似的代碼.
nayuki
2014-11-19 10:48:17 +08:00
可以模拟桌面浏览器渲染,然后抓取html
bobopu
2014-11-19 12:11:16 +08:00
@jprovim
@nayuki 找到办法了,之前那个抓取网站调整了下可以抓取了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/147588

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX