又来个爬虫小偏方:修改 referer 绕开访问控制

[yuanrenxue]

有修改 UA 为搜索引擎蜘蛛的，但是这招越不越不管用，因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
另外有个 修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html

[yuanrenxue]

@Meli55a 古德

[zhangzilong]

@tumbzzc 看把你能的，我又不是做这个的。装什么 B 呢

[tumbzzc]

@zhangzilong 我也不是，但是就是比你厉害，咋滴？看不惯就 block

[raawaa]

碰到验证码、甚至还会判断 selenium 行为的网站……只好流下没技术的泪水。

[locoz]

基本操作都能水一贴

[zhangzilong]

@tumbzzc 没地方找优越感了？

[zhangzilong]

@tumbzzc 什么玩意儿都有？

[tumbzzc]

@zhangzilong 是的，就是找优越感，反正就是比你厉害，可以滚了

[zhangzilong]

@tumbzzc 狗玩意儿，你怎么不滚呢。爸爸开始和你说话了吗？你比比什么呢

[zhangzilong]

@tumbzzc 你从哪里感觉比我厉害，儿子？

[zhangzilong]

@tumbzzc 生活是不是不如意呢？会不会说话？

[zhangzilong]

@tumbzzc 你爸爸没有教过你与人为善？喷子，和你有什么关系呢。素质呢

[zhangzilong]

@tumbzzc 你赶紧有多远滚多远吧

[tumbzzc]

@zhangzilong 真是疯狗

[zhangzilong]

@tumbzzc 你先告诉我，你爸爸有没有教你与人为善？

[zhangzilong]

@tumbzzc 我碰到人，我就是人。碰到狗就是狗。

[tumbzzc]

@zhangzilong 啧啧，看看自己说过的话吧，疯狗，有脸说别人？

[tumbzzc]

@zhangzilong 再见了，疯狗，也许你这辈子都不会知道自己多无知