探讨一种低成的本大文件存储和传输方案，目前没辙了

[yishibakaien]

场景描述

• 文件（主要是视频）大小在 2 - 30G 之间，平均大小在 12G 左右一个，目前每天大约有 20 个左右该大小文件被创建，也就是 240G 左右
• 文件需要被保留至少 30 天，也就是最小存储空间需要 240G * 30 = 7200G ，考虑到冗余需要 10T 左右空间
• 该文件需要在创建完之后提供给异地下载（批量或并发下载），或者通过某种方式传输给异地（跨省）

遇到的困难

• 存储文件成本较高
  • 如果使用 OSS 、COS 等方式，10T 一年存储费需要 ￥ 8700
• 下载（传输）成本较高
  • 走 CDN 下载（直接 OSS 下载更贵）需要支付两部分费用
    • 回源流量费用（从 CDN 回源到 OSS ），240G/天 * 0.15 元/G * 365 天 = ￥ 13140
    • CDN 流量费用，240G/天 * 0.2 元/G * 365 = ￥ 17520
• 如果存储在本地
  • QQ wx 等不支持如此大的文件传输，对传输总流量也有限制
  • 家庭带宽上行最多可以到 20M/S 左右，也无法满足文件传输需求（存在多人同时下载），（如果有办法把家庭带宽上行扩大到 100M/S ，勉强可以使用，听说公网 IP 多播可以做到，但是容易封号）
• 如果采购云服务器提供下载
  • 大带宽成本天价，不考虑

待解决核心问题

• 最核心的是如何解决文件传输流量问题，存储在本地成本较低，可以接受！

特此求助 V 站各位老师，有没有低成本传输如此大批量文件的方案，感激不尽！欢迎讨论！

[yishibakaien]

@google2020 能解决上传速度（上行带宽）问题，网盘是个好方案！

[yishibakaien]

@Raynard 不是点对点的，是点对 N ，下载的用户可能来自任意地方

[Raynard]

那你这个还一个方案，从生成端 上传 到 idc 机房，用点对点专线。保证速度和时效性。

到了 idc 之后再走正常下载，不用 cdn 。

江苏的 idc 价格便宜，和他们谈谈，v2 好像就有，你找找

[just1]

不管哪种方案都要从本地出去的，唯一办法就是拉带宽，专线你这点量也不至于

按照每天 300G ，均匀分布 24 小时的话就是需要 2.7MB/s 的速度，接受 8 小时延迟的话就是 8.1MB/s ，上传增强型家宽就可以够，一年 100T 出头，只是得问问会不会达量限速

[Pteromyini]

你这个全链路瓶颈在上行带宽上，上行带宽问题解决之后其实就是个 nas 的事

[Pteromyini]

另外有一个风险必须考虑：每天 200G+的上行存在宽带被停用的风险，你可以翻一下你的合同，作为服务端是违反家宽使用用途的，运营商如果想整你有理有据

[yishibakaien]

@just1 有这种上传增强型吗？其实上传到网盘让对方下载这个方案很好，现在苦于带宽问题！

[gamexg]

bt ？
除非是邮寄硬盘等方式，
只要是网络传输，那么都需要最少上传一次，都要加大宽带。

我看是 1 到 n ，那么 p2p 是比较好的方式。
设置好做种策略，源只用上传一次

[yishibakaien]

@Pteromyini 感谢耐心地帮忙分析！目前确实瓶颈就在上行带宽，如果我只是传输文件 或者干脆上传到网盘应该不至于被整吧！这个我明天咨询清楚，谢谢！

[yishibakaien]

我想到一个方案，能不能直接让产生的视频通过 api 直接写在网盘啊（视频的产生类似监控实时录制的），这样就不经过我本地了，直接起飞，没有烦恼

[yishibakaien]

@gamexg p2p 没整过，比较陌生，邮寄是万万不可行的

[wu67]

问问运营商，搞那种大带宽的套餐，记得沟通好/相当于提前报备，然后你整 nas 就行，你正规用途不用怕，直接说就可以啦

[gamexg]

@yishibakaien bt 或 电驴
以前网络宽带不高的情况下，1 对 N 分发文件的目的设计的

[yishibakaien]

@gamexg 嗯，这个不管怎么样都要把我本地的视频传上去才行吧，依然不能解决问题，我本地上行带宽太小了

[yishibakaien]

@wu67 好，看来还是要咨询运营商，家庭带宽能解决的话那就完美了！

[xtreme1]

友情提示: 上海联通家宽, 每日超过 100GB 上行流量, 且月上行流量到达 4000GB 的, 触发局停, 签署不使用 PCDN 或 BT 的承诺书后解封, 第二次触发局停后清退并进入黑名单

[yishibakaien]

@xtreme1 感谢提醒，看来这里面还有很多坑，运营商是不会轻易让你薅到的

[yufeng0681]

买三个二手安卓手机，支持 5G 的。
买 5G 的流量卡三张。 具体看你当地哪个运营商连网盘上传速度最快。
把要上传的视频分别放三个手机的云盘 app 探测目录下，自动上传
1 、设置云盘 app 只能用移动网络，这样就不会用局域网的 wifi 上传，堵在宽带出口
2 、三个手机插上电，放在公司不怕被偷

[Actrace]

钛盘可能比较符合需求，虽然最长只能免费 7 天。

[pxiphx891]

我觉得你这个场景，网盘是最好的。一天 240G ，24 小时上传网盘，一条宽带就够了吧？另外你用 handbrake 编码试试，用上 gpu ，编码成 h265 ，应该能压缩不少体积。