@cxh116 爬取难度　淘宝>天猫>京东．淘宝的反爬实在太强．即使用上我提到的所有反反爬虫策略．半个小时内就会爬不动，即使爬取频率不高．

@supman 不太懂你表达的意思？

@fate0 我是用这个中间件来管理代理 IP 的　 https://github.com/aivarsk/scrapy-proxies，随机选择代理 IP，不可用就把代理 IP 丢了. 只是还是会出现运行到一段时间之后，代理 IP 全部被丢完的情况

@Thoxvi README 上面已经修改，但是 V2EX 就没办法修改 :(

其实最大的问题是，知道这一刻的代理可用，但是却完全没办法保证下一刻依旧可用．:(

@fate0 其实主要的问题是免费的代理大部分都不能用，而且即使现在能用，下一分钟也可能不能用．并且以文本形式来存储代理 IP，在运行的时候将代理 IP 全部加载进内存，但是如果你的爬虫是长时间运行，代理应该很快用完．所以比较理想的是"动态"加载代理 IP.　即可以在运行时继续加载 IP. 个人小小的看法．也很感谢你的项目啦 :)

一台 32Gb 内存的工作站，跑了三个实例．

突破反爬虫策略嘛，所以就叫反反爬虫策略．见笑了．

此外，graphite 的配置安装是很麻烦的事情，并且是不支持 windows 　(虽说我是 Linuxer), 所以用 docker 就非常方便．我自己就在别人做好的　 graphite 基础上做了些许配置的修改然后生成新的 image 适配 scrapy+graphite

主要是将 scrapy.spider 的 stats 保存到 Redis (单机或者是集群)，然后通过将这些数据发送给 graphite 来生成监控动态图．主要参考　 https://github.com/gnemoug/distribute_crawler 　的做法．只是这个项目已经没有维护了，并且是 python2，所以要自己看源码做一些适配．

代理 IP 用的不是一家，是用这两位的项目　 https://github.com/qiyeboy/IPProxyPool 　 https://github.com/qiyeboy/IPProxyPool ．只是个人感觉还是不够方便，还需要自己安装和配置环境，所以我就把这两个项目做成 docker image. 然后映射　 IP 出来，通过　 api 获取代理 IP.　只是 image 还有点问题，所以还没有分享出来．

欢迎大家不吝指教．

https://samrayleung.github.io/blog/2017/05/23/%E5%85%B3%E4%BA%8E%E5%88%86%E5%B8%83%E5%BC%8F%E7%B3%BB%E7%BB%9F%E5%94%AF%E4%B8%80id%E7%9A%84%E6%8E%A2%E7%A9%B6/ 可能我写的这篇博文有点用　？

@msg7086 因为这个习惯是几年前养成的,习惯给 Linux 引导分一个额外的分区了.

使用了 lvm 来安装 arch linux, 正如 #8 提到的那样,应该让程序做决定的还是让程序做决定吧

@DaraW 三星 850 evo

@lrvy 我觉得 /swap 拿来当虚拟内存，最重要的是要快速读写，理应是 ssd 吧

@BOYPT 略略看了一遍两篇博文，似乎我已经没有三个选择了，两个选择 bcache or lvmcache ,但是文章有提到 bcache 似乎会发生数据冲突，而楼上也有同学提到 bcache 会莫名其妙死机，所以感觉还是要选择 lvmcache。由软件来决定的确要比我一开始就分区决定更优

@caomu 交流一下理由？