镜像网站，原网站的静态怎么爬取

[zhangjiashu2023]

比如一些 ChatGPT 的镜像站，Midjourney 等等网上都有很多镜像站。这些静态是怎么爬取的呢。有没有懂这块儿的大佬，可付费。

[iApp]

有没有可能人家不是爬的,只是做了一层流量代理转发

[doubu]

反向代理

[qinrui]

差不多 15 年前做过一个镜像新闻站

用户访问我站的前端页面，我站通过 php 找到对应源站页面，替换掉一些关键词和链接规则，然后显示给用户，同时缓存到本地

下次再有用户访问这个页面，就直接从本地缓存取

[zhangjiashu2023]

@iApp 不是 我问过一个作者 确实不是反代 就是扒了。

[saltpi]

有点类似 web archive ，印象中有这样的软件，输入域名，可以尽可能的爬下所有页面。貌似叫 web archive offline 之类的

https://github.com/ArchiveBox/ArchiveBox

[eben]

有人会使用 python 写个小偷，完全扒下来

[mmdsun]

搜下 ChatGPT pandora ，当时比较火的 ChatGPT 镜像网站。 静态资源不用爬直接本地下载就行

[zhangjiashu2023]

@mmdsun 我的意思就是 pandora 这种类似能把 openai 官方静态给扒下来并且还能适配可用的技术

[kkkbbb]

@qinrui 这不还是爬么

[qinrui]

@kkkbbb 按需爬，有人访问的页面才爬