用 go 写爬虫需要解析动态页面，有什么方案吗？

2020-12-09 19:42:34 +08:00
 Wangds

页面的内容是 js 生成的

2142 次点击
所在节点    Go 编程语言
7 条回复
tobb
2020-12-09 20:40:20 +08:00
翻译 js 函数到 go 吧
dreasky
2020-12-09 21:32:32 +08:00
chromedp 简单粗暴
BoarBoar
2020-12-09 22:54:40 +08:00
goquery,语法和古老的 jquery 基本一致
tikazyq
2020-12-10 09:42:06 +08:00
https://github.com/go-rod/rod
Wangds
2020-12-11 10:34:27 +08:00
@tikazyq 你好，看了 rod，感觉挺不错的，用什么方法获取整个页面的 html 呢？在文档找了好几圈，没找到
hmoe
2020-12-11 13:16:03 +08:00
@Wangds page.MustElement("html").HTML()
longfei210
2020-12-13 21:52:21 +08:00
colly

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/733878

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX