如何评价:中国科学院自动化研究所 通用类脑大模型-SpikingBrain-瞬悉 1.0

4 天前
 SGL
有大模型相关领域的吗,这个研究有趣吗。

https://controller-fold-injuries-thick.trycloudflare.com/
2776 次点击
所在节点    程序员
28 条回复
totoro52
4 天前
传统大模型普遍采用 Transformer 架构,其计算复杂度随序列长度呈平方级增长,导致训练和推理成本居高不下。SpikingBrain-1.0 突破性地引入脉冲神经元技术,构建了线性( 7B 参数)和近线性( 76B 参数)复杂度模型。测试数据显示,在 GPU 环境下处理 100 万长度序列时,其首个 Token 生成速度较主流模型提升 26.5 倍;处理 400 万长度序列时,保守估计速度提升超过 100 倍。移动端测试同样亮眼,在手机 CPU 上处理 6.4 万至 25.6 万长度序列时,解码速度较同规模 Llama3.2 模型提升 4.04 至 15.39 倍。
totoro52
4 天前
问了 8.6 和 8.10 哪个大? 回答如下:
8.10 大于 8.6 。
原因:
版本号中的数字从左到右依次递增,且每位数字按十进制比较大小。例如:
。主版本号(第 1 位)相同的情况下比较次版本号(第 2 位)。若主版本号不同,则直接对比主版本号
结论:8.10>8.6 。
KinBob
4 天前
问题:我叫我的姐姐的女儿的舅舅的儿子叫啥
brsyrockss
4 天前
@KinBob 回答:我 dnmd 回家问你姐去
cherryas
4 天前
@totoro52 你这个回答的是版本号是正确的。 我加了个数学中:

在比较两个小数时,应先比较整数部分,再依次比较小数部分的每一位。

整数部分均为 8 ,相等。

8.6 的小数部分为 0.6
8.10 的小数部分为 0.10
0.10 (十分位上的 1 ,百分位上的 0 )。
结论:
8.6 大于 8.10 。
hanbing135
4 天前
@totoro52 已经修正了
deplives
4 天前
c4923
4 天前
@KinBob 你叫你的姐姐的女儿的舅舅的儿子叫"曾侄子或曾侄女"。

详细推理过程:

起点:你自己 → "我"
姐姐的女儿 → 表妹的孩子,即你的外甥或外甥女。
舅舅的儿子 → 表兄弟姐妹的孩子中的一个(舅舅一般有多个儿子)。
舅舅的儿子的儿子 → 孙辈,即你的曾侄子或曾侄女。
因此,最终的答案是第三代亲属,即曾侄子或曾侄女。
WillBeethoven
4 天前
眼一花看成了 SpringBrain
lance07
4 天前
随便问了个系统设计问题, 纯胡言乱语啊, 不管啥都给你扯什么模型啥的, 还有一堆莫名其妙的概念
hongc
4 天前
它说:““你爸爸的妈妈”指父亲的外婆。”
......
joshuacavell
4 天前
笑死,我问"我和我的七舅姥爷是什么关系"
推理过程:"“舅”通常指父亲的兄弟,也就是姑父。“姥”则是母亲的姐妹,也就是姨妈。"
Goooooos
4 天前
还有很多优化空间
KinBob
4 天前
@c4923 我问的时候回答是堂弟,感觉逻辑处理一团糟
v2tex
4 天前
想起来一张图:不管对不对,你就说我算的快不快吧(
c4923
4 天前
@v2tex 哈哈哈哈,问题是算的也不快啊
yb2313
4 天前
问了一下感觉智力过低, 中科院做出 ai 成果有可能, 但做成跨时代成果不可能
siriussilen
3 天前
“传统大模型普遍采用 Transformer 架构,其计算复杂度随序列长度呈平方级增长,导致训练和推理成本居高不下” 不然嘞,linear attention 没什么问题,就是性能拉跨, 你想想为什么大家都在用 transformer 呢?
coefu
3 天前
目前只是 1.0.

完全不同的技术路线,能走通,并有一定的效果,就是很好的了。

脉冲神经网络( SNN )目前硬件没有跟上,当硬件跟上配合的时候,能在极低的功耗下工作,比当前的 ANN 有搞头的多。

这就像是 gpt1 ,你不能用 gpt5 的水平去要求 gpt1 。

很遗憾,在程序员这个节点,没有看到前瞻性的老铁。可能大家的知识点都被框在了 web 体系。整个计算机科学与技术,不止 web/移动端 这些。
coefu
3 天前
@siriussilen 2017 年 transformer 出来之后,谁会预料到 gpt3.5 在 2023 年就起来了呢?当然了,snn 做 LLM ,因为可以摸着石头过河,所以比之 gpt1~gpt3 的原创突破性有所不足,但至少也填补了一条非 transformer 路线的空白,并且因为 snn 的低功耗和时序处理优势,可能会走出一条更好的路线。
transformer 的各种变种都已经是强弩之末了( LLM 的功能和性能的边际效应递减,导致代际提升放缓,gpt4~5 的提升并没有 1~3 激烈),你不想想为什么要找新路线?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1157956

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX