请教下用 scrapy 如何抓 1688 上的商品数据呢？

[MrMike]

网上查的，貌似代码都是 18 年的了，都说用抓包工具先找到一个 json 文件，里面有商品的信息，但是我用抓包工具看了，没有找到这样的网址。 页面上显示出来的商品价格，详情之类的数据，好像都是用 ajax 加载出来的。

各位大佬们，给点思路或方向。谢谢。

[lhx2008]

建议你直接放弃就好了，或者花钱找人帮你搞。

[MrMike]

@lhx2008 朋友会么，多少钱可以？

[skyeycirno]

你可以放弃了，淘宝，阿里巴巴，京东这类的反爬都做到极致了，没你想的那么简单就能爬下来的

[MrMike]

@skyeycirno 谢谢。

[alaikis]

直接解决 JS，里面直接 JSON 就可以，最好的方法是采购手机版，手机版反爬没那么严重，另外，可以申请采购接品，直接拉取也可以。

[alaikis]

你把 www 改成 m 就是详情页的手机版，分页的话，只采购地址是比较简单的

[sherlockwhitebb]

直接上 selenium 吧

[sherlockwhitebb]

预算多少

[MrMike]

@alaikis 是申请采购接口么？

[yaoye555]

已突破 1688 任何维度不登录情况下的异步请求现已应用于公司大范围产品线, 有意可咨询

[alaikis]

不需要接口呀，就在 JS 里面，直接正则解析一下就好，我们原来 1688 上亿的采集都是这样操作的，直接 selenium 加谷歌浏览器就 OK 了

[alaikis]

记得加一下代理 IP，一家换两三个就可以了，就是不知道你们的采集量

[LZSZ]

正常浏览都经常出验证。

[MrMike]

@alaikis 哦。谢谢哈。

[yangqinger]

@alaikis 你们现在还是这样操作的吗？详情页现在好像要求登录的。