探讨一种低成的本大文件存储和传输方案，目前没辙了

[yishibakaien]

场景描述

• 文件（主要是视频）大小在 2 - 30G 之间，平均大小在 12G 左右一个，目前每天大约有 20 个左右该大小文件被创建，也就是 240G 左右
• 文件需要被保留至少 30 天，也就是最小存储空间需要 240G * 30 = 7200G ，考虑到冗余需要 10T 左右空间
• 该文件需要在创建完之后提供给异地下载（批量或并发下载），或者通过某种方式传输给异地（跨省）

遇到的困难

• 存储文件成本较高
  • 如果使用 OSS 、COS 等方式，10T 一年存储费需要 ￥ 8700
• 下载（传输）成本较高
  • 走 CDN 下载（直接 OSS 下载更贵）需要支付两部分费用
    • 回源流量费用（从 CDN 回源到 OSS ），240G/天 * 0.15 元/G * 365 天 = ￥ 13140
    • CDN 流量费用，240G/天 * 0.2 元/G * 365 = ￥ 17520
• 如果存储在本地
  • QQ wx 等不支持如此大的文件传输，对传输总流量也有限制
  • 家庭带宽上行最多可以到 20M/S 左右，也无法满足文件传输需求（存在多人同时下载），（如果有办法把家庭带宽上行扩大到 100M/S ，勉强可以使用，听说公网 IP 多播可以做到，但是容易封号）
• 如果采购云服务器提供下载
  • 大带宽成本天价，不考虑

待解决核心问题

• 最核心的是如何解决文件传输流量问题，存储在本地成本较低，可以接受！

特此求助 V 站各位老师，有没有低成本传输如此大批量文件的方案，感激不尽！欢迎讨论！

[lsk569937453]

可以换个思路。
1.一天 20 个文件每天都会有人下载吗？直接用播放器在线播放行不行？需要留存的在下载。
2.如果是监控视频的话，可以把静态的部分直接处理掉。

[june4]

视频是啥用途，压缩还是大有可为的，有可能变成原来的 1/10 大小，多买几个千元小机并行压就行。且 frame rate 要求不高的话把 fps 改低成 16 什么的看上去也不差，但文件小巨多。

[hullhutt]

别人要下载,你就必须解决上传问题.
移动的 100 兆上传千兆宽带一年也就三四百.再加 30/月,上传变 300 兆.
可以用一些同步工具,goodsync 类似的.
或者 bt 做种,这种比较好,缓解上传压力

[DT27]

美国的大盘服务器

[Pteromyini]

@yishibakaien #29 能传网盘最好，直接从家里拉数据万一被风控就说不清了，传网盘还有的解释，我自己传网盘属于个人用途，直接分发没法解释

[gogogaga123]

别听他们的 就是卡车拉硬盘 是目前最快的超大数据版搬运传输方式，不信你自己搜 [卡车拉硬盘]

[xqk111]

NAS ？

[blankmiss]

百度网盘（天翼云盘 Alist 直链下载） + 移动宽带（移动宽带 有的套餐上传可以达到 200M ，电信已经锁死 30M 了）

[blankmiss]

如上我所述 如果百度云盘你就得充 SVIP 不然容量不够，如果是天翼云盘你就得买 30T 的账号。然后搭建一个 alist 让天翼云盘承担下载， 再一个就是移动宽带，移动的上传带宽很大，天翼云盘 百度云盘这种上传是不限速的

[CaptainD]

我们公司有类似需求，买的美西的实体服务器托管，上下行千兆，你需要的配置估计每年一万多人民币吧，不需要担心流量问题，只是延迟会高一点，对于下载文件和远程开发来说问题不大

[forvvvv123]

我之前在某个大厦的电梯里看过运营商的广告，有上行增强型的线路，面向的是政府和企业的宣传需求，比如要搞网络直播宣传之类的；

所以建议还是联系下本地的运营商客户经理，他们遇到的场景应该比我们多很多；

[LinePro]

如果可以公网拉流的话，你可以考虑开个阿里云北京的 ECS 服务器，整个阿里云盘，部署 Alist 挂载阿里云盘并开启内部上传，把视频流拉到服务器本地后用 Alist 上传到阿里云盘。一般 ECS 服务器购买时标注的带宽指的是公网上传带宽，公网下载带宽是 100Mbps 不限速的。开启内部上传后上传走的是阿里云内网，也同样不限速。这样就解决了带宽问题。

[Greatshu]

感觉是需要存档的监控录像
传输可以用 P2P 同步工具，Resilio Sync ，Syncthing ，微力同步之类。宽带可以多开几条分流，三大运营商各一条避免一锅端。
有公网 IP 或者 ipv6 可以 VPN 组网，让异地自己来下载，千万别公网 IP 搭 web
网盘可以作为兜底，一来大规模上传下载可能会限速，至少曾今百度 SVIP 干过，我一天下载了 1.3TB ，速度降到 100KB/s ；二来体现不出工作量。

[expy]

现在什么流程还会用 rmvb ，你直接换成 x264/x265 都能保持清晰度并省很多码率。

[somebody1]

@yishibakaien #21
我刚刚测试了阿里云盘，上传大概是每秒 10-15M ，不过我是在公司测试的，公司是家用的宽带，但是上传更大一点。我没开会员

网盘是最优解，12G 一个文件，上传到网盘大概是 20 分钟左右，也就是之后 20 分钟后，就可以提供网盘的链接供客户下载了。

费用只有网盘的费用和家用宽带的费用，宽带上传要足够才行。

[adoal]

如果你有这么大的数据量，但给你带来的收益让你连一年不到 5 万的都觉得存储+下载费用都觉得太高，那是不是要考虑一下这个业务的价值，换个赛道了？

[niubee1]

按你这个需求 你是要做影视剧分享？

[ETiV]

换编码器+1 ，使用更高效的编码器可以在保持画面质量的同时降低码率，显著减小视频文件体积。

（ rmvb 感觉都是上个世纪的东西了…）

我娃幼儿园的直播视频，一天 10 个小时，2GB

不如你说说自己的业务场景，说不定当个 UP 主，可以直播推流到斗鱼什么的，然后开启直播回放功能…
你只需要有上传带宽就行了，视频文件的存储和点播都靠直播网站帮你做了…

[shimanooo]

根据这个网站的测试, https://rigaya.github.io/vq_results/

Intel A 系列显卡 HEVC 硬编码质量最好. 其次是 12 代酷睿核显.

(软压肯定不用看了. AV1 硬编码目前也没 HEVC 好)

[zjsxwc]

300 元包年开通百度云盘一个会员有 5T 空间，
楼主要 10T 就开通 2 个百度云盘会员。

github 扒个使用百度云盘的接口 sdk 集成到你客户端，

搞定