Python Scrapy 的安装

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2963 天前的主题，其中的信息可能已经有所发展或是发生改变。

怎么安装 Scrapy 要安装那么多依赖啊？而且动不动就安装报错，为什么不能直接 pip install Scrapy 一键搞定呢？各位有没有什么好的解决办法？

Scrapy

安装

报错

pip

26 条回复 • 2016-04-25 22:08:47 +08:00

Tink

2016-03-09 10:54:54 +08:00 via iPhone

不能 pip install ？

allencode

2016-03-09 11:06:50 +08:00

@Tink 在 pip install 之前要安装四五个依赖吧，而且有几个很难安装。不过最后搞定了，直接去 github 上下载 scrapy 的源码解压， cd 进去，然后 python setup.py build,python setup.py install.搞定啦

4641585

2016-03-09 12:59:57 +08:00

为什么不能用 pip install ？

项目网站首页最上面就是 pip install scrapy

4641585

2016-03-09 13:04:44 +08:00

刚刚试了一下也没有出任何问题。。

allencode

2016-03-09 13:05:13 +08:00

@4641585 请问你只用匹配 install scrapy 就可以成功安装 scrapy 了吗？不用安装其他依赖？像 lxml ， pywin32 ？

9hills

2016-03-09 13:08:02 +08:00

@allencode lz 是 windows ？

要么折腾，要么换系统吧

4641585

2016-03-09 13:17:39 +08:00

@allencode
好吧我用的不是 windows 。。

CocoTaka

2016-03-09 13:23:41 +08:00 via iPad

用 easy_install

xmwd

2016-03-09 13:26:39 +08:00

我用的 ubuntu15.10 ，使用 pip ，也得手动装 libffi 、 libxslt 和 libxml

wenyu1001

2016-03-09 13:29:53 +08:00

弄个虚拟环境： virtualenv （ virtualenvwrapper ）

省的被其他环境（依赖）干扰。

ctrainr

2016-03-09 13:35:31 +08:00

主要是 lxml 难装

simapple

2016-03-09 13:40:26 +08:00

就是需要这么多依赖，只要不是 windows ，直接 pip 安装，缺少什么 lib 就安装什么

其实 windows 下安装也没有那么难

whatot

2016-03-09 13:42:58 +08:00

Installing collected packages: zope.interface, Twisted, six, w3lib, queuelib, lxml, idna, pyasn1, pycparser, cffi, cryptography, pyOpenSSL, cssselect, pyasn1-modules, attrs, service-identity, scrapy
Successfully installed Twisted-15.5.0 attrs-15.2.0 cffi-1.5.2 cryptography-1.2.3 cssselect-0.9.1 idna-2.0 lxml-3.5.0 pyOpenSSL-0.15.1 pyasn1-0.1.9 pyasn1-modules-0.0.8 pycparser-2.14 queuelib-1.4.2 scrapy-1.0.5 service-identity-16.0.0 six-1.10.0 w3lib-1.13.0 zope.interface-4.1.3

不到 2 分钟装完了。依赖会自动解决吧

jswh

2016-03-09 13:42:58 +08:00

之前也是，在 vps 上 pip install 安装总是报错。最后发现是 vps 内存太小，编译各种 python-lxml 的时候内存爆了。用 apt-get 装了预编译包就好了。 23333

Tink

2016-03-09 14:14:30 +08:00 via iPhone

为什么要用 windows 啊醉了

yinzishao

2016-03-09 16:14:30 +08:00

我用的是 ubuntu14.04 pip install 直接安装就可以了。并没有遇到什么问题。或者你贴出具体的问题代码，给大家解决一下？

allencode

2016-03-09 16:49:06 +08:00 via Android

@9hills 已经搞定了，谢谢你

allencode

2016-03-09 16:49:19 +08:00 via Android

@CocoTaka 搞定了，谢谢

allencode

2016-03-09 16:49:34 +08:00 via Android

@xmwd 搞定了，哈哈

allencode

2016-03-09 16:49:46 +08:00 via Android

@ctrainr 是的哦，不过后来搞定了

allencode

2016-03-09 16:50:15 +08:00 via Android

@yinzishao 我已经搞定了，只是安装过程感叹一下，哈哈

allencode

2016-03-09 16:51:07 +08:00 via Android

@Tink 实验室台式机准备装优班图，笔记本装了许多软件，不敢轻易折腾

allencode

2016-03-09 16:51:37 +08:00 via Android

@whatot 这个好， 2333

allencode

2016-03-09 16:51:47 +08:00 via Android

@simapple 是的

patrickstar

2016-03-09 19:15:26 +08:00

我现在用 anaconda ，完全满足我用了，不过由于没有用到 scrapy 所以还没关注里面有没有这个，实在不想去折腾， pypi 上有些包没有直接 pip 安装的！

moogle

2016-04-25 22:08:47 +08:00

我这里有两个环境：
python2 C:\Anaconda3\envs\python2
root * C:\Anaconda3
是不是我先 activate python2 后，然后再 pip install scrapy ？