推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
Maskeney
V2EX  ›  Python

如何利用爬虫批量获取多帐号登录后显示的信息?

  •  
  •   Maskeney · Feb 22, 2016 · 3284 views
    This topic created in 3925 days ago, the information mentioned may be changed or developed.
    比如说一个网页需要输入账号密码才能显示出信息,并且每个帐号现实的信息都不相同,如何用爬虫实现从文件读取帐号密码,自动输入-抓取数据-保存到文件-继续读取下一个帐号-输入下一个帐号密码-抓取下一个帐号密码-再保存到文件,直到把所有的帐号爬完。写完才发现这个需求好像有点干坏事的样子...好吧其实不是..小白用户恳切希望能有大大耐心写写如何实现的
    6 replies  •  2016-02-22 17:45:56 +08:00
    knightdf
    knightdf
    Feb 22, 2016
    1
    不就是多线程登录么,提交表单的事,原来写过集群登录 LinkedIn 抓取账号的
    popok
    popok
    Feb 22, 2016
    2
    你就按照正常浏览器操作的流程来模拟不就完了。

    提交用户名和密码登录,获取 cookie ,然后带着 cookie 获取信息
    pyengwoei
    pyengwoei
    Feb 22, 2016
    3
    1 、先读取所有帐号密码报错 存放到一个列表
    2 、 FOR 帐号循环列表,
    2-1 、登录,
    2-2 、保存 COOKIE 到一个列表
    3 循环里面就是你要干的事情
    pyengwoei
    pyengwoei
    Feb 22, 2016
    4
    上面错了两个字 是保存 不是报错
    Maskeney
    Maskeney
    OP
    Feb 22, 2016
    5
    @pyengwoei 你的意思是先保存 cookie 最后再用 cookie 读取内容?
    Maskeney
    Maskeney
    OP
    Feb 22, 2016
    6
    @popok @knightdf 有没有 python 入门学习的途径?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   989 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:29 · PVG 07:29 · LAX 15:29 · JFK 18:29
    ♥ Do have faith in what you're doing.