现在已经有反爬措施了?

2019-09-13 21:28:45 +08:00
 wszgrcy

用的 puppeteer,帮人写个小工具(不收费),在 window 下,正常,但是在 docker 中一些网站 goto 后秒崩,对一部分正常,一部分崩溃,哪怕只运行这一个也崩溃,曾经有人说没有爬不了的网站。。。但是这个网站也真是 nb。打开一瞬间就立马崩溃

2793 次点击
所在节点    问与答
9 条回复
D0n9
2019-09-13 21:32:51 +08:00
其实没有理解在问啥
如果是 100% 出问题的话,为什么不尝试在 win 下跑一下,然后用 docker 跑相同的站,先排除是不是自身环境有问题。

# 我也是闲的无聊,看到一篇无聊的帖子,无聊地回复一下
whasyt
2019-09-13 21:37:12 +08:00
还开始有广告了??手机页面下面十个广告排成排,我一度以为我进错网站
shintendo
2019-09-13 21:44:00 +08:00
每个字都认识,就是不知道你在说什么
jinliming2
2019-09-13 21:51:28 +08:00
@whasyt 一直有广告啊……
xiri
2019-09-13 21:55:05 +08:00
@whasyt v 站一直都有广告啊
whasyt
2019-09-13 21:55:32 +08:00
@jinliming2 有十条这么多吗……之前 ios12 的 Safari 没啥广告
littlespider89
2019-09-13 22:01:56 +08:00
理论上应该是没有爬不了的网站,只是模拟人工访问的环境没做到一模一样,网站有些地方的检测没考虑到

windows 下也是 headless 模式吗? 可以把网页放出来大家一起来试试
wszgrcy
2019-09-13 22:03:10 +08:00
@shintendo win 下能爬不崩溃,docker alpine 下崩溃(部分网站)
patx
2019-09-13 22:25:19 +08:00
不爬图片的话,禁止 pupeteer 加载图片试试?其实也可以弄个广告域名的黑名单,也屏蔽掉。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/600691

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX