如何评价:中国科学院自动化研究所 通用类脑大模型-SpikingBrain-瞬悉 1.0

54 天前
 YanSeven
有大模型相关领域的吗,这个研究有趣吗。

https://controller-fold-injuries-thick.trycloudflare.com/
3448 次点击
所在节点    程序员
28 条回复
MIUIOS
54 天前
传统大模型普遍采用 Transformer 架构,其计算复杂度随序列长度呈平方级增长,导致训练和推理成本居高不下。SpikingBrain-1.0 突破性地引入脉冲神经元技术,构建了线性( 7B 参数)和近线性( 76B 参数)复杂度模型。测试数据显示,在 GPU 环境下处理 100 万长度序列时,其首个 Token 生成速度较主流模型提升 26.5 倍;处理 400 万长度序列时,保守估计速度提升超过 100 倍。移动端测试同样亮眼,在手机 CPU 上处理 6.4 万至 25.6 万长度序列时,解码速度较同规模 Llama3.2 模型提升 4.04 至 15.39 倍。
MIUIOS
54 天前
问了 8.6 和 8.10 哪个大? 回答如下:
8.10 大于 8.6 。
原因:
版本号中的数字从左到右依次递增,且每位数字按十进制比较大小。例如:
。主版本号(第 1 位)相同的情况下比较次版本号(第 2 位)。若主版本号不同,则直接对比主版本号
结论:8.10>8.6 。
KinBob
54 天前
问题:我叫我的姐姐的女儿的舅舅的儿子叫啥
brsyrockss
54 天前
@KinBob 回答:我 dnmd 回家问你姐去
cherryas
54 天前
@totoro52 你这个回答的是版本号是正确的。 我加了个数学中:

在比较两个小数时,应先比较整数部分,再依次比较小数部分的每一位。

整数部分均为 8 ,相等。

8.6 的小数部分为 0.6
8.10 的小数部分为 0.10
0.10 (十分位上的 1 ,百分位上的 0 )。
结论:
8.6 大于 8.10 。
hanbing135
54 天前
@totoro52 已经修正了
deplives
54 天前
c4923
54 天前
@KinBob 你叫你的姐姐的女儿的舅舅的儿子叫"曾侄子或曾侄女"。

详细推理过程:

起点:你自己 → "我"
姐姐的女儿 → 表妹的孩子,即你的外甥或外甥女。
舅舅的儿子 → 表兄弟姐妹的孩子中的一个(舅舅一般有多个儿子)。
舅舅的儿子的儿子 → 孙辈,即你的曾侄子或曾侄女。
因此,最终的答案是第三代亲属,即曾侄子或曾侄女。
w3
54 天前
眼一花看成了 SpringBrain
lance07
54 天前
随便问了个系统设计问题, 纯胡言乱语啊, 不管啥都给你扯什么模型啥的, 还有一堆莫名其妙的概念
hongc
54 天前
它说:““你爸爸的妈妈”指父亲的外婆。”
......
joshuacavell
54 天前
笑死,我问"我和我的七舅姥爷是什么关系"
推理过程:"“舅”通常指父亲的兄弟,也就是姑父。“姥”则是母亲的姐妹,也就是姨妈。"
Goooooos
54 天前
还有很多优化空间
KinBob
54 天前
@c4923 我问的时候回答是堂弟,感觉逻辑处理一团糟
v2tex
54 天前
想起来一张图:不管对不对,你就说我算的快不快吧(
c4923
53 天前
@v2tex 哈哈哈哈,问题是算的也不快啊
yb2313
53 天前
问了一下感觉智力过低, 中科院做出 ai 成果有可能, 但做成跨时代成果不可能
siriussilen
53 天前
“传统大模型普遍采用 Transformer 架构,其计算复杂度随序列长度呈平方级增长,导致训练和推理成本居高不下” 不然嘞,linear attention 没什么问题,就是性能拉跨, 你想想为什么大家都在用 transformer 呢?
coefu
53 天前
目前只是 1.0.

完全不同的技术路线,能走通,并有一定的效果,就是很好的了。

脉冲神经网络( SNN )目前硬件没有跟上,当硬件跟上配合的时候,能在极低的功耗下工作,比当前的 ANN 有搞头的多。

这就像是 gpt1 ,你不能用 gpt5 的水平去要求 gpt1 。

很遗憾,在程序员这个节点,没有看到前瞻性的老铁。可能大家的知识点都被框在了 web 体系。整个计算机科学与技术,不止 web/移动端 这些。
coefu
53 天前
@siriussilen 2017 年 transformer 出来之后,谁会预料到 gpt3.5 在 2023 年就起来了呢?当然了,snn 做 LLM ,因为可以摸着石头过河,所以比之 gpt1~gpt3 的原创突破性有所不足,但至少也填补了一条非 transformer 路线的空白,并且因为 snn 的低功耗和时序处理优势,可能会走出一条更好的路线。
transformer 的各种变种都已经是强弩之末了( LLM 的功能和性能的边际效应递减,导致代际提升放缓,gpt4~5 的提升并没有 1~3 激烈),你不想想为什么要找新路线?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1157956

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX