达尔文的自然选择,和深度学习好像

54 天前
 hwdq0012

基因突变-> 数据增广 生死-> 数据标注 优胜劣汰-> 随机梯度下降 繁殖-> 模型推理

1466 次点击
所在节点    随想
6 条回复
w568w
54 天前
你有没有听过一个东西叫 遗传算法……
hwdq0012
54 天前
@w568w #1 听过,没详细查资料, 谢谢你为我提供了摸鱼思路
mightybruce
54 天前
兄弟,你真的非常非常民科,AI 算法 有一堆来自于生物学,

深度学习反而和这个不靠近


听说过 上个世纪就提出来的遗传编程、遗传算法吗, 这个和达尔文自然选择非常接近。遗传算法是受自然进化理论启发的一系列搜索算法, (在巨大的解空间中找到可能的解法)
https://zh.wikipedia.org/wiki/%E9%81%97%E4%BC%A0%E7%AE%97%E6%B3%95


现代的大模型和深度学习也有结合这些遗传编程的

谷歌最近提出 AlpahEvolve 就是例子, 让大模型生成的代码自我进化

https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/

github 上 AlphaEvolve 的开源实现

https://github.com/codelion/openevolve
hwdq0012
54 天前
@mightybruce #3 机器学习除了激活函数 和神经元机制类似,其他的和神经其实没太多关系吧 ,不过 llm 我就不知道了,我目前主要搞 cv 模型, 如果 llm 已经包含了遗传算法,每时每秒都在迭代,那是否可以认为它有意识
banmuyutian
54 天前
没有不好的意思,学而不思则惘思而不学则殆,与 OP 共勉
frayesshi1
53 天前
数据集 数据标注 训练(梯度下降) 推理,这四步和深度学习一样,但是自然选择是自然完成这四步,深度学习需要人工来整合这四步。个人认为用解方程的思想更能体现深度学习,训练在标注好的数据集里面通过梯度下降等方法得到方程的参数,推理是带入需要判断的已知变量得到结果

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1151039

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX