V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
spikeLIN
V2EX  ›  Python

天猫的反爬加强了?

  •  
  •   spikeLIN · 2016-08-26 21:05:15 +08:00 · 4348 次点击
    这是一个创建于 2770 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这两天突然发现很多都爬取不了,把失败的 url 丢进去一看,发现都需要登录才能浏览了.
    平时是自己弄了个代理池,每次爬都从代理池里面随机取代理爬的.
    这样都被反爬了还有什么好的方法吗?

    6 条回复    2016-08-27 22:55:20 +08:00
    petelin
        1
    petelin  
       2016-08-26 21:17:05 +08:00 via Android
    登录进去拿到 session 就行了,又没说 session 和 IP 必须一匹配,不知道你什么意思。
    qianlifeng
        2
    qianlifeng  
       2016-08-27 00:56:14 +08:00
    我也发现了,还在想怎么弄
    ljcarsenal
        3
    ljcarsenal  
       2016-08-27 10:24:16 +08:00
    求教你们整天爬来爬去的有什么经济价值?
    bf68
        4
    bf68  
       2016-08-27 11:54:01 +08:00
    @ljcarsenal 同问
    mrcode
        5
    mrcode  
       2016-08-27 21:32:53 +08:00
    @petelin 登陆后拿到的是 token 吧。:smile:
    petelin
        6
    petelin  
       2016-08-27 22:55:20 +08:00 via Android
    @mrcode 想说 session id. 脑抽了,当时看到这个问题感觉很无聊,,,
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3104 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 12:43 · PVG 20:43 · LAX 05:43 · JFK 08:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.