如何优化爬虫能最快的抓取到商品信息？

[pythonfan]

在写一个小程序，目的是采集最新的商品列表，通过scrapy定时采集，但是遇到一个问题，从商品发布到最后被抓取到会有一段时间的间隔，希望能尽量缩短这个时间差，还有哪些办法能做一些优化呢？ 商品从发布到前台缓存更新有一定的时间，缓存用的MemCache，目前时间设定为一分钟扫描一次。
补充： 比如某个商品14：35发布更新了，我的爬虫14：38才会抓取到（这期间是每分钟整点都在抓取的）但是在我抓到之前，已经有人把商品抢拍了。。。也就是他的爬虫可能在14：36就已经抓到了。很纳闷，该如何优化才能像他那样及时的得到更新呢？

[9hills]

既然你每分钟整点在抓，为什么商品14:35发布了，你14:38才会抓到呢？

[vbs]

秒杀？

[pythonfan]

@9hills 现在就是怀疑缓存的原因，导致前端搜索列表更新有延迟，否则没道理啊，每分钟我都去这个列表抓取一遍的，但是商品详情页面显示的发布时间跟我抓到的时间差了2，3分钟。。。

[pythonfan]

@vbs 嗯，类似的吧。

[xmover]

抓回来lz怎么解析入库？

[cooiky]

@pythonfan 也可能是两边时间没统一

[pythonfan]

@xmover 直接用scrapy的api就可以了啊

[pythonfan]

@cooiky 这个倒是没考虑到，我测试看看。。。

[pythonfan]

@cooiky 测试过了，不是时间问题。。。

[tempdban]

scrapy用的是django的orm
dgango 的orm会缓存数据
各种数据库驱动也会缓存数据

[keven]

采集频率要更快