能否建立一个的 AI 训练众包平台

[brainzhang]

已经有很多人讨论过这个点子了，就像挖矿一样；能否建立一个的 AI 训练众包平台；家里有显卡的小伙伴可以把闲置的设备租出去赚取收益；而没有强力计算设备的用户无需花费大量资金购买设备， 只需登录平台，提交任务即可进行 AI 训练；

之前的技术瓶颈在于几乎不可能将大规模的 AI 训练拆分成一个个分布式的小任务，因为数据量庞大，并行交换要求高速的带宽等等；但是目前像 Stable Diffusion 这样的图像处理任务，一旦部署了稳定和标准化的模型，是可以将任务拆分为极小的数据单位的；这样技术上就能将一个个任务分配给某一台个人 PC 去处理；

我拍脑袋想了一下，建立这样一个平台的难点在于反作弊和计算量评估；这两点应该都有合适的解决方案；

• 反作弊可以参考挖矿的算法，为每个客户端生成一对 公 /私钥， 服务端下发每个计算任务时，采用私钥加密；客户端上传每个计算任务时，采用公钥加密；

• 计算量评估先期可以采用服务端评估的方法；后期可以通过下发任务给配置类似的客户端，采用同一个客户端并行执行同一任务，然后比较计算时间，来建立一个靠谱的计算量评估机制

• 最后是防止滥用和羊毛党，可以采用信用评分，对于完成任务优秀的客户端打高分，给它分配更多更高收益的任务，从经济系统上进行激励；

我搜了一下，目前这个点子的相关项目不是很多，都在起步阶段，我觉得挺有前景的；

大家讨论一下，这个项目在 技术 /商业 /可行性 上有哪里漏洞？

我在 github 上建立一个一下项目，有兴趣的小伙伴可以去讨论下:

https://github.com/aitobox

[Muniesa]

只是 stable diffusion 倒还好，如果是不同的模型，可能还要考虑推理环境的一致性，以及模型权重文件的传输，现在模型权重文件动不动就几个 G ，带宽的成本也不能忽视

[2n80HF9IV8d05L9v]

帖子里太长没看, 看到挖矿, 懂一点点, 提供一个看法:
挖矿的核心之一是工作量证明, 工作量证明一般是计算时间无法绕过, 验证时间又极短.
比如 btc, eth 那种找遍历找幸运数.
比如 fil, chia 那种提前计算好存在硬盘上.
他们其实都是在做无意义的事情, 答案并不重要, 重要的只是得到答案的过程所产生的成本, 进而产生的可信度


而 AI 训练是说不通的, 是相反的, 他是过程不重要, 结果重要. 所以首先可以排除这种非中心化方案. 我觉得零知识证明在这里没法用的


其次是中心化的方案, 那就简单了, 除了一点: 数据加密.

[woctordho]

@kkwkk 从 AI Horde 的运行情况来看，大多数普通用户喜欢的都是少数几个最流行的模型，剩下的模型只要让少数几个 worker 认领就行了

@brainzhang AI Horde 刚好有这么一套积分（ kudos ）系统

如果你真的想搞挖矿、零信任那一套东西，可以看看 Bittensor

[hahiru]

https://petals.ml/

[woctordho]

你想要的东西应该就是 AI Horde 。。我觉得这样的平台只要有一个，然后大家一起建设就行了，没必要搞第二个，除非第一个真的太烂了

你可以先在他们那里注册一个 worker 跑一段时间体验一下，然后想想有什么可以改进的地方，或者在国内搞点宣传

[brainzhang]

@woctordho 多谢多谢；大家集思广益果然开拓视野；我研究一下 Horde 看看；

[jiekeop]

支持 很有想法！

[brainzhang]

@pkoukk 这个问题我觉得已经说明了；

1. 首先不能纯依靠算法，要有人工排查；你说的这种作弊或者攻击者人工 ban 掉
2. 为了排除无效 Client 提交，初期那种简单的，固定输入固定输出的 task ；分给多个 client 执行；然后返回结果进行比对；如果 Client 是无效计算，那它就会被降权，降权到一定程度就标记为低信用节点，同理多次执行后可以筛选出高信用节点
3. 引入积分制，信用高者获取积分有加成

就像运营一个社区一样，多种措施保证参与节点的诚实度；

[misty8873]

其实 IDC 机房的合作方式也可以。。有群么？

[rphoho]

币圈很多这类项目了，包括最近 a16z 投的 gensyn 。个人感觉，去中心化的东西没有激励层是很难落地的，说白了就是发币，那么涉及到发币，你国内就玩不了。但如果想在海外玩，单单众包这套系统是很简单的，kubeedge 之类的拿过来包装下估计都能实现，如果项目没有啥核心技术的突破，比如 zkml ，分布式训练等，那就又变成提概念融资、挖矿、发币、崩盘的模式，而这是个重运营的项目，无关技术。

[brainzhang]

@rphoho 这个不是去中心的，也跟币圈和挖矿没关系；仅仅是拿挖矿打了个比方而已

[pkoukk]

@brainzhang
也就是 PT 社区那样咯，小白想加入网络，得先做任务解锁等级，任务难度分梯度，奖励等级也分梯度。
那怎么维持这个付出 /回报体系呢？如果靠多客户端比对，那势必存在任务的重复计算。
类似 PT 这样的社区，上传也是要高于下载的。也就是说，对我来说，我付出的计算量总量是大于我本地计算的。
适用场景倒是也有，如果显卡出图太慢，我就没事就挂着平台换积分，来换取平台的快速出图

[brainzhang]

@pkoukk 是这样的，具体的激励机制还没有想的太清楚；

但是只要确定一点：就是这种众包形式总体上可以有效利用闲置计算资源，提高利用率；并且能有效的分配计算能力给最需要的人；这是有价值的；

剩下的，就是设计一种机制，能最大限度的发掘这个价值出来；

[brainzhang]

另外，这个池子并不完全像 PT ；我认为大部分小白用户，是愿意付费（一元？）购买那些闲置算力，来生成一张好看的图片的；是能覆盖跑一张图片的算力成本的；这个是积分流转的另一个来源，可能是主要来源；

中间平台抽一点税，这个机制应该就能长期运转下去；

[rphoho]

@brainzhang 重新看了一遍，理解你的意思，你想做一个撮合平台并且设计了一套信用体系。不过你可能要从供需上去多琢磨琢磨这个产品，无论是咸鱼还是 pt ，他供需都能匹配的。因为做过 gpu 公有云，不过运营失败了，所以比较了解这行，其实 ai 看着很美好，实际需求很低，特别是低端卡，矿卡多到你根本抠不出利润，自然也组织不起这样的社区，我要用还不如用 autodl 之类的，还稳定。而高端卡是有需求，但好像这题无关。所以我更看好有发币的系统，然后反哺技术突破，如分布式训练或者 zkml 之类的，形成护城河。当然这只是个人看法，不一定对，我也想看看其他人有没有什么好想法。

[yankebupt]

@brainzhang 首先你说的这个技术还真有，叫参数服务器，我贴个相关论文精读视频吧……看看再说。或者你懒得看的话，用 AI 总结个概要读一下也行
<amp-youtube data-videoid="xt-AwUrDxQk" layout="responsive" width="480" height="270"></amp-youtube>其次，家用显卡的弱鸡性能及家用网络的弱鸡参数交换性能，对于参数服务器基本可以忽略不计了，用的话，浪费比同算力集群高到不知道哪里去了，所以目前技术不要想。

[mikumkf]

做着得有自己的技术优势，比如有自己的一套分布式梯度同步算法

[ykk]

赞成，先从技术要求最低的做起，先做一个 AI 咸鱼，比如我手里有 20 个 A100 集群闲置，每张卡我可以提供一个 SD 服务，提供一些流行开源服务，大模型等等，然后买方直接来购买体验。

对于小白来说，不需要再去 B 站学习怎么搭建和复杂的概念了（搭建对于我们这种算法工程师来说就跟吃饭一样），直接提供服务。

更简单的，我现在就可以提供以上说的 AI 服务，op 如何包装前后端和推广出去？

[brainzhang]

@ykk 对，就是这样的；现在最傻瓜的办法就是咸鱼接单，人工服务；但是这个模式肯定是低效无比；

如果把这个流程简化成美团接单，有硬件的把家里的显卡出租做 AI 骑手，有画图需求的就来平台点一单 AI 生图，SD 这样的服务 UI 搞简单，平台抽一点税，这个模式听起来是可以的；

[HungryOrangeCat]

分布式训练有点挑战的