既然可以禁用 js，爬取动态网页是不是简单了许多？

2021-05-09 21:59:36 +08:00
 lollipop43

最近在做动态页面的爬虫，突然想到如果使用了 selenium 后再禁用 js，那么页面元素都固定了，此时就完全像是爬取一个静态网页。 还是说这只是一个巧合，并不是所有的网站都会在 no script 模式下给出完整的响应

1694 次点击
所在节点    问与答
6 条回复
love
2021-05-09 22:05:19 +08:00
我没用过 SSR 服务端渲染技术，听说那个就是有这效果。然而用这技术的网站肯定是少数啊，象我自己做站就只有客户端 react 渲染，禁 js 后当然一片白
ch2
2021-05-09 22:07:37 +08:00
现在都是 selenium 加载完毕后，在前端 fetch 数据渲染
jotpot
2021-05-09 22:58:59 +08:00
如果新闻、资讯类站点还好，遇到页面用 js 渲染的就废了。页面内容都是 js 渲染的，就如 1 楼说的 禁用 js 就全白了
adjusted
2021-05-09 23:51:20 +08:00
现在大多数前端渲染的页面<noscript>里面只有一句话就是"请启用 javascript"
Tink
2021-05-09 23:52:24 +08:00
不启用 js 不给看网页
supermoonie
2021-05-10 09:15:47 +08:00
那你直接 http 请求页面不就好了？干嘛还用 selenium，用这个的意图不就是因为要运行 js 吗

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/775872

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX