首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
拉勾
V2EX  ›  Python

又来个爬虫小偏方:修改 referer 绕开访问控制

  •  
  •   yuanrenxue · 108 天前 · 2795 次点击
    这是一个创建于 108 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有修改 UA 为搜索引擎蜘蛛的,但是这招越不越不管用,因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
    另外有个 修改 referer 取巧的方法,https://www.yuanrenxue.com/crawler/crawler-tricks-2.html
    38 回复  |  直到 2018-12-21 23:34:08 +08:00
        1
    largecat   108 天前 via Android
    谢谢楼主无私分享
        2
    paradoxs   108 天前
    爬虫怎么入门呢。
        3
    InternetExplorer   108 天前 via Android   ♥ 4
    这不是基本操作吗
        4
    yuanrenxue   108 天前
    @largecat 多谢
        5
    yuanrenxue   108 天前
    @paradoxs Python requests 库用起来就入门了
        6
    zhangzilong   108 天前
    厉害了,老哥。我爬虫被封禁了好几天,用这招解决了。
        7
    yuanrenxue   108 天前
    @zhangzilong 你不是我的托吧, 老哥?
        8
    zhangzilong   108 天前
    真不是,老哥。正好看到了这篇文章,然后就试了下,完美解决。
        9
    kba977   108 天前 via iPhone
    这不是常规操作么,手动狗头
        10
    kosmosr   108 天前
    所以怎么修改 referer
        11
    ho121   108 天前 via Android
    修改 referer 确实是常规操作
        12
    Eirxxx69   108 天前
    需要用户权限的访问的网页也可以通过这个方法访问么
        13
    skylancer   108 天前
    老实说修改 referer 不是常识么...
        14
    tumbzzc   108 天前 via Android
    上面说用这招解决了问题的,只能说连入门都还没有入门
        15
    rootx   108 天前
    知道了 准备堵
        16
    agdhole   108 天前 via Android
    专门有 fake 库循环就完事了
        17
    yuanrenxue   108 天前
    @agdhole 那个不能生成 referer
        18
    yuanrenxue   107 天前
    @Eirxxx69 没法的
        19
    whatsmyip   107 天前
    感觉像是在逛博客评论区

    楼主既然是来 v 站引流的,至少得放个摘要吧
        20
    Meli55a   107 天前
    很好
        21
    yuanrenxue   105 天前
    @Meli55a 古德
        22
    zhangzilong   105 天前
    @tumbzzc 看把你能的,我又不是做这个的。装什么 B 呢
        23
    tumbzzc   105 天前 via Android
    @zhangzilong 我也不是,但是就是比你厉害,咋滴?看不惯就 block
        24
    raawaa   103 天前
    碰到验证码、甚至还会判断 selenium 行为的网站……只好流下没技术的泪水。
        25
    locoz   103 天前
    基本操作都能水一贴
        26
    zhangzilong   97 天前
    @tumbzzc 没地方找优越感了?
        27
    zhangzilong   97 天前
    @tumbzzc 什么玩意儿都有?
        28
    tumbzzc   97 天前 via Android
    @zhangzilong 是的,就是找优越感,反正就是比你厉害,可以滚了
        29
    zhangzilong   96 天前
    @tumbzzc 狗玩意儿,你怎么不滚呢。爸爸开始和你说话了吗?你比比什么呢
        30
    zhangzilong   96 天前
    @tumbzzc 你从哪里感觉比我厉害,儿子?
        31
    zhangzilong   96 天前
    @tumbzzc 生活是不是不如意呢?会不会说话?
        32
    zhangzilong   96 天前
    @tumbzzc 你爸爸没有教过你与人为善?喷子,和你有什么关系呢。素质呢
        33
    zhangzilong   96 天前
    @tumbzzc 你赶紧有多远滚多远吧
        34
    tumbzzc   96 天前
    @zhangzilong 真是疯狗
        35
    zhangzilong   96 天前
    @tumbzzc 你先告诉我,你爸爸有没有教你与人为善?
        36
    zhangzilong   96 天前
    @tumbzzc 我碰到人,我就是人。碰到狗就是狗。
        37
    tumbzzc   94 天前 via Android
    @zhangzilong 啧啧,看看自己说过的话吧,疯狗,有脸说别人?
        38
    tumbzzc   94 天前 via Android
    @zhangzilong 再见了,疯狗,也许你这辈子都不会知道自己多无知
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2124 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 18ms · UTC 00:22 · PVG 08:22 · LAX 17:22 · JFK 20:22
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1