第一次写抖音爬虫，似乎遇到了奇怪的问题，是某种反扒机制吗？

[lwj253698]

自己抓到的 url 的参数比网上教程的案例多了好几个属性，相同指令（比如都是用同一关键词搜索）的 url 的最后几个属性_rticket,as,cp,mas 随着时间变化，使用 python 再去 get 这些指令时返回的 json 就全是错误信息（服务器繁忙），而不是抓到的数据 json 这样了……
现在考虑这是某种校验机制，不知道猜测是否合理。。。
so weird，求 dalao 解救！

[WinMain]

github 上有一个很好用的，为了做视频分类，已经爬了十来万视频了。。
https://github.com/LoadChange/amemv-crawler

[nine99]

header 的参数设了吗

[peterpei]

@myliyifei 同样有这样的思路，借鉴了抖音 id 长度并没有发现有相同长度的 id 号，看起来是加密了。。。

[lwj253698]

@locktionc read error ？

[lwj253698]

@WinMain 其实我对这个分类倒是不是太在意。。。因为我接下来还会做一些筛选，打算用 opencv 筛选出只有人像上半身的视频

[lwj253698]

@empty9 如何验证 cookie 呢？用那几个参数吗？

[locktionc]

@lwj253698 用的七牛云图床，我这里可以正常显示图片。

[lwj253698]

@fange01 不是呀，帮老板搜集训练集。。。

[lwj253698]

@peterpei 是那个 iid 的参数吗

[lwj253698]

@locktionc 嗯嗯看到了…比我想象得要简单( ･᷄ὢ･᷅ )

[lwj253698]

@locktionc emmm 其实我发现其实只要把这几个参数全部省略掉就可以访问了，也是很奇怪了

[KomeijiSatori]


买个 Surge 吧

[locktionc]

@lwj253698 不能省略，因为一旦省略，他们就知道这不是正常的 App 请求。于是就可以封你。即使你用代理每一次请求都换，他也可以来一次封一次。省略了以后你的爬虫就是去送死。

[hteen]

@locktionc 为什么我抓的接口里面 mas 是 54 位 str, 你给加密方法是 50 位 str😂

[bankroft]

我的博客写过抖音全站爬虫，发不了链接，百度搜索 bankroft

[wjx1993]

为什么抖音我都抓不到包？

[cjcgynpu]

嗯， 去哪儿前反爬虫工程师去了头条。
只能说这么多了。

[lwj253698]

@cjcgynpu = =现在必须要登陆了 真滴要死

[Trinity888]

@lwj253698 楼主，现在抖音 App ，还能爬虫获取数据吗？