又来个爬虫小偏方:修改 referer 绕开访问控制

[yuanrenxue]

有修改 UA 为搜索引擎蜘蛛的，但是这招越不越不管用，因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
另外有个 修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html

[largecat]

谢谢楼主无私分享

[paradoxs]

爬虫怎么入门呢。

[InternetExplorer]

这不是基本操作吗

[yuanrenxue]

@largecat 多谢

[yuanrenxue]

@paradoxs Python requests 库用起来就入门了

[zhangzilong]

厉害了，老哥。我爬虫被封禁了好几天，用这招解决了。

[yuanrenxue]

@zhangzilong 你不是我的托吧， 老哥？

[zhangzilong]

真不是，老哥。正好看到了这篇文章，然后就试了下，完美解决。

[kba977]

这不是常规操作么，手动狗头

[kosmosr]

所以怎么修改 referer

[ho121]

修改 referer 确实是常规操作

[Eirxxx69]

需要用户权限的访问的网页也可以通过这个方法访问么

[skylancer]

老实说修改 referer 不是常识么...

[TKKONE]

上面说用这招解决了问题的，只能说连入门都还没有入门

[rootx]

知道了 准备堵

[agdhole]

专门有 fake 库循环就完事了

[yuanrenxue]

@agdhole 那个不能生成 referer

[yuanrenxue]

@Eirxxx69 没法的

[whatsmyip]

感觉像是在逛博客评论区

楼主既然是来 v 站引流的，至少得放个摘要吧

[Meli55a]

很好