抓取淘宝店铺商品

[jerryge]

写了个简单的爬虫，想抓下一家淘宝店正在出售的宝贝（/search.htm?spm=a1z10.1.0.0.N8xbI3&search=y&orderType=hotsell_desc）。请求频率7秒抓一次，但发现抓了几次之后就要求登陆，跳转到登陆页面。请问有类似经验的同学吗

[manhere]

淘宝api

[leofml]

检查 Referer, UA 和 Cookies

[jsonline]

用phantom吧

[alay9999]

@manhere API 好像只能提供你账号对应店铺的商品数据吧

[andrewrong]

公司之前是使用淘宝API的，但是后来淘宝封了，现在的话是自己写爬虫爬，但是为了防止淘宝识别就通过代理（VPN）进行爬，这样就可以防止淘宝探测到...你的现象比较像被淘宝检测出然后进行限制了..当然是我的猜测...不是很懂

[alexapollo]

https://github.com/geekan/scrapy-examples
用过的人都知道

[bladecamper]

API现在基本等于封闭状态。
用火车头采集器吧。

[ryan10107]

可以AD拨号吧，搞多点cookie和header的模拟，现在淘宝封店铺商品列表封得很厉害，做爬虫还是看IP的

[jerryge]

@andrewrong 是指通过VPN轮训IP吗

[jerryge]

@manhere 现在的API基本废了

[jerryge]

@ryan10107 倒霉孩子不是ADSL上网的。