有谁在做抓取京东，天猫，亚马逊商品信息

2017-12-29 14:53:03 +08:00
 lixuda

大家有好的开源代码吗？好学习借鉴

我现在用 python selenium 抓取列表页

3611 次点击
所在节点    Python
6 条回复
zhouson
2017-12-29 16:11:45 +08:00
购物党是怎么抓的？
vtwoextb
2017-12-29 17:25:40 +08:00
张大妈比价网 上有 这里有抓取代码 https://github.com/hizdm/dynamic_ip
laoyuan
2017-12-29 20:34:34 +08:00
这三家都能搞定的，肯定是生产代码，我认为不可能开源。
opengps
2017-12-29 22:43:13 +08:00
用啥语言无所谓，我在腾讯课堂学的.net ，有一节课就是用京东做案例，爬京东，我试了下，10m 带宽，4 核 8G 机器 3 个多小时爬完商品条目和价格
lixuda
2017-12-30 00:35:09 +08:00
@opengps 不会出现验证码？
HuangLibo
2017-12-30 16:55:31 +08:00
@vtwoextb 原来动态换 ip 就是重启路由器啊, 够暴力的.

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/418611

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX