付费征集 b2b.10086.cn 爬虫方案，需验证可行

[qingwalashi]

悬赏征集 b2b.10086.cn 爬虫方案，无需代码，只需提供关键思路即可。

解析网址是： https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2 或 https://b2b.10086.cn/b2b/main/viewNoticeContent.html?noticeBean.id=712215

问题描述: 已通过 chrome 的 devtools 进行分析，但通过 postman 或者爬虫程序无法获得正确返回。填写 http header 依然无法获得，一直获得 412 Precondition Failed 的报错。

悬赏方案： RMB 50 元（咖啡一杯）请大佬指点迷津，告知关键思路即可，需要你验证可行。根据评论的先后顺序我会逐一验证，第一个验证通过的评论我会进行答复，兑现悬赏付款。

[qyvlik]

基于现有 浏览器插件 进行抓取，例如 web-scraper 。

[ReinerShir]

八爪鱼爬虫工具不就完事了？

[oott123]

一个挺有意思的加密，50 块钱怕是不够分析的，如果要求不高的话还是上 headless chrome 吧

[mxT52CRuqR6o5]

headless browser，虽然效率低点但比较无脑，也不怕在 js 层的非验证码类的校验

[siknet]

3 个 url 没一个能打开的。。。

[wangkun025]

@siknet 我都能打开。上海电信。

[qingwalashi]

@oott123 这个没用过，我先研究下

[july1115]

赞同 4 楼的

[qingwalashi]

@ReinerShir 已经验证不行了，设置规则后也是模拟浏览器进行点击动作抓取，和用 selenium 进行模拟一样，页面无法完全加载

[misaka19000]

加个零差不多

[siknet]

广西联通打不开，移动可以。
火车浏览器试试吧

[xieren58]

puppeteer

[miao666]

这个太简单了，只要频次不要太高
开发一个 chrome 插件，模拟点击，再抓取 dom 内容，逐个抓取到 selectResult('712245')中的这个 id 值，存储到数据库中
再开发一个插件，逐个访问 https://b2b.10086.cn/b2b/main/viewNoticeContent.html?noticeBean.id= 抓取到的 id
全程都是模拟人操作，没有抓不到的数据

[qingwalashi]

@misaka19000 不需要具体实现，给个思路验证成功即可

[siknet]

火车浏览器就是干这个的，我用来抓过携程和穷游

[qq316107934]

有一个按规则生成的 OTP，做了防重放，所有请求只能调用一次，所以第二次会 400 。
调试一会儿 JS 就能发现关键加密函数了，抽出来调用即可，给个截图提示一下：

仅供交流学习，请勿用于违法用途

[qingwalashi]

@qyvlik 貌似没成功，或者是我不会用吧

[qingwalashi]

selenium 和 puppeteer 都试过了，默认的参数都没读取成功，无法加载出来。

[qingwalashi]

@qq316107934 大神好！确实发现了 400 的报错，这个加密函数还有 OTP 陷入我的知识盲区了，能再给点提示吗？