V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
liuliliuli2017
V2EX  ›  Python

玩法收藏/云服务器/Python3 环境安装 PySpider 爬虫框架

  •  
  •   liuliliuli2017 · 2017-03-21 18:08:48 +08:00 · 1749 次点击
    这是一个创建于 2595 天前的主题,其中的信息可能已经有所发展或是发生改变。

    又看到一个关于爬虫的帖子,嘻嘻,收录待用,修改转载已取得腾讯云授权


    大家好,本篇文章为大家讲解腾讯云主机上 PySpider 爬虫框架的安装。

    首先,在此附上项目的地址,以及官方文档

    PySpider

    官方文档

    安装流程

    pip

    首先确保你已经安装了 pip ,若没有安装,请参照此文

    phantomjs

    PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API 。它全面支持 web 而不需浏览器支持,其快速、原生支持各种 Web 标准: DOM 处理、 CSS 选择器、 JSON 、 Canvas 和 SVG 。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。

    安装方式

    以上附有官方安装方式,如果你是 Ubuntu ,还可以使用如下命令:

    sudo apt-get install phantomjs
    
    

    pyspider

    直接运行 pip 安装即可

    pip install pyspider
    
    

    测试

    安装完成之后,如果没有任何的报错,那就 OK

    命令行输入

    pyspider all
    
    

    然后浏览器访问 http://localhost:5000

    观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切 OK

    在此附图一张,这是我写了几个爬虫之后的界面。


    原文来自: https://www.qcloud.com/community/user/542010001488460189

    4 条回复    2017-03-22 22:19:46 +08:00
    yansyuei
        1
    yansyuei  
       2017-03-22 02:58:54 +08:00
    • 这里绝对不会全文转载任何文章,而只会以链接方式分享
    Antidictator
        2
    Antidictator  
       2017-03-22 08:49:08 +08:00 via Android
    @yansyuei 如果是作者,那就可以了吧
    yansyuei
        3
    yansyuei  
       2017-03-22 19:22:31 +08:00
    @Antidictator #2 又看到一个关于爬虫的帖子,嘻嘻,收录待用,修改转载已取得腾讯云授权
    liuliliuli2017
        4
    liuliliuli2017  
    OP
       2017-03-22 22:19:46 +08:00
    @yansyuei 抱歉才看到使用须知,转载仅供自用,有人感兴趣一起看也好。本以为已申请到腾讯云授权就没事了,之后我会只对文章进行摘抄,以免有违规嫌疑。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   938 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 20:41 · PVG 04:41 · LAX 13:41 · JFK 16:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.