请教一个关于爬虫的思路

[EgT]

我想采集 app 里面的图片，这个 app 是类似一个机器人 通过按钮点击就直接返回一张图片，但是这个图片地址每天都会更新一次，这种情况有什么好的解决办法

图片 url 示例:http://xxxxx.com/spic_data/20220405/7EB2D469A634CAAD683B7334E2D387A5.jpg

[4rfv5tgb]

简单点可以直接用 requests 请求整个网页下来，复杂点你就用 selenium+chrome driver,直接模拟人的点击，然后分析网页 page_source

[EgT]

@4rfv5tgb 是手机 app 就是因为抓包没看到其他请求，只有点击按钮的时候会返回一条图片的 url

[cnbattle]

可以参考下我抓抖音的方式 github.com/cnbattle/douyin 🙈

[EgT]

@cnbattle 好的 谢谢 我去看看

[zoranz]

可以考虑 appnium 思路 最快肯定还是抓到接口

[Skiro]

抓包+逆向通常可以解决你遇到的 90%以上的问题。

[EgT]

@zoranz 就是因为抓包没看到其他请求，只有点击按钮的时候会返回一条图片的 url ，现在换了个思路 看看他图片命名规则是什么加密的

[EgT]

@Skiro 好的，抓包没有看到请求，等会儿学学逆向看看

[zoranz]

解决了吗 抓包没看到请求是因为现在大部分 app 弄了个啥东西 你用 fiddler 挂了代理之后他就不给你访问了吧好像

[EgT]

@zoranz 没有 换了其他方式来做了，这个机器人走的 tcp 协议