如何爬取一个网站不被禁用 ip

[EagerTo]

随机浏览器头和限速都试了。还是被封。代理 ip 也找不到很多

[vcbal]

你看下是不是有特殊的接口，或者特殊的 http 头，这个是根据网站来，不同网站不同的反爬机制

[brader]

禁不禁你 IP ，是看别人网站开发者的反爬机制决定的，不是你能控制的

[qrobot]

参照隔壁 v2explus, 分布式爬虫, 每人每天执行任务

[cosmain]

策略：“如果一个 IP 五分钟内访问了 1000 个页面，禁止 ip 访问 24 小时”

这任你怎么折腾都不行，除非换 ip

[glfpes]

单 ip 是不可能做爬虫的

[cnrting]

这是能问的吗🐶

[8355]

爬的本质就是增加成本破解反爬
反爬的本质就是通过增加爬的成本来反爬

[dawn009]

随机浏览器头有可能特征更明显。有些 UA 在正常用户中是很少见的，足够触发反爬规则了。

[blankmiss]

代理池即可

[ding2dong]

无解，掏钱上动态代理 ip

[maxssy]

用别人的 IP

[gablic]

网上买代理 ip 资源吧

[cherryas]

爬网站的 ipv6 地址 (有的概率很低)

[locochen]

欢迎试用 `https://www.bright.cn/`

[YouKnowIt]

@locochen 你这是国外那个 brightdata 中文版吗，还是国内人新搞的？

[locochen]

@YouKnowIt 就是你认为的那个国外的, 出海到中国来了. 🤓