那些网盘搜索网站，是怎么爬去网盘资源的？

[python30]

那些网盘搜索网站，是怎么爬去网盘资源的？ 是通过各网盘的 api 接口吗？ 还是真有技术可以便利网盘的数据？ 还是别的方法？ 有知道内情的朋友们吗？

[MIH]

各种论坛 和 搜索引擎结果 url 匹配啊。。。分享 url 都是固定格式

[uuundefined]

只知道以前有些盘的网页入口， 有一些推荐的链接， 和爬虫原理一样爬就行
像腾讯已经不怎么用的微云， 太纯净了， 也没人分享，压根就没搜他的引擎就知道， 不太可能有遍历的接口

[python30]

@uuundefined pansoso.com 这个速度好快。好像不是遍历网盘吧。那得多久才能返回结果。不知道是不是用的 api 或者只返回几百条数据？

[uuundefined]

爬了后存自己数据库了啊， 再用 Elasticsearch 之类的搜索引擎方案 。网盘数据还没磁力站数据条目多， 相当于厂商帮就下载后去重了，没什么压力