Python3 如果抓 js 生成的 html 网页？

2014-08-09 16:18:56 +08:00

Fulminit

我是想抓super-ping.com的网页。
比如说 http://www.super-ping.com/?ping=youtube.com&locale=en

加载网页时需要过一会儿 "ping ..." 才会变成所需的内容。

这时应该如何处理？

4994 次点击

所在节点

9 条回复

pimin

2014-08-09 16:28:44 +08:00

http.client

ehs2013

2014-08-09 16:56:23 +08:00

ehs2013

2014-08-09 16:59:30 +08:00

节点列表见 HTML 261 行

Fulminit

2014-08-09 17:03:01 +08:00

@ehs2013 请问这是怎么找到的。。下次如遇相同情况应该如何处理？

pimin

2014-08-09 17:07:14 +08:00

@Fulminit
抓包查看浏览器正常访问过程判断就好了

Fulminit

2014-08-09 17:39:58 +08:00

lujjjh

2014-08-09 22:33:56 +08:00

@Fulminit
需要指定一下 Referer

reverland

2014-08-09 22:56:17 +08:00

拿浏览器来……

比如https://github.com/scrapinghub/splash

nomaka

2014-08-13 13:02:53 +08:00

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.