首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
拉钩
V2EX  ›  Python

又来个爬虫小偏方:修改 referer 绕开访问控制

  •  
  •   yuanrenxue · 10 天前 · 2129 次点击
    有修改 UA 为搜索引擎蜘蛛的,但是这招越不越不管用,因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
    另外有个 修改 referer 取巧的方法,https://www.yuanrenxue.com/crawler/crawler-tricks-2.html
    25 回复  |  直到 2018-12-12 17:24:55 +08:00
        1
    largecat   10 天前 via Android
    谢谢楼主无私分享
        2
    paradoxs   10 天前
    爬虫怎么入门呢。
        3
    InternetExplorer   10 天前 via Android   ♥ 3
    这不是基本操作吗
        4
    yuanrenxue   10 天前
    @largecat 多谢
        5
    yuanrenxue   10 天前
    @paradoxs Python requests 库用起来就入门了
        6
    zhangzilong   10 天前
    厉害了,老哥。我爬虫被封禁了好几天,用这招解决了。
        7
    yuanrenxue   10 天前
    @zhangzilong 你不是我的托吧, 老哥?
        8
    zhangzilong   10 天前
    真不是,老哥。正好看到了这篇文章,然后就试了下,完美解决。
        9
    kba977   9 天前 via iPhone
    这不是常规操作么,手动狗头
        10
    kosmosr   9 天前
    所以怎么修改 referer
        11
    ho121   9 天前 via Android
    修改 referer 确实是常规操作
        12
    Eirxxx69   9 天前
    需要用户权限的访问的网页也可以通过这个方法访问么
        13
    skylancer   9 天前
    老实说修改 referer 不是常识么...
        14
    tumbzzc   9 天前 via Android
    上面说用这招解决了问题的,只能说连入门都还没有入门
        15
    rootx   9 天前
    知道了 准备堵
        16
    agdhole   9 天前 via Android
    专门有 fake 库循环就完事了
        17
    yuanrenxue   9 天前
    @agdhole 那个不能生成 referer
        18
    yuanrenxue   9 天前
    @Eirxxx69 没法的
        19
    whatsmyip   9 天前
    感觉像是在逛博客评论区

    楼主既然是来 v 站引流的,至少得放个摘要吧
        20
    Meli55a   9 天前
    很好
        21
    yuanrenxue   7 天前
    @Meli55a 古德
        22
    zhangzilong   7 天前
    @tumbzzc 看把你能的,我又不是做这个的。装什么 B 呢
        23
    tumbzzc   7 天前 via Android
    @zhangzilong 我也不是,但是就是比你厉害,咋滴?看不惯就 block
        24
    raawaa   5 天前
    碰到验证码、甚至还会判断 selenium 行为的网站……只好流下没技术的泪水。
        25
    locoz   5 天前
    基本操作都能水一贴
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3166 人在线   最高记录 4019   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 21ms · UTC 10:13 · PVG 18:13 · LAX 02:13 · JFK 05:13
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1