请问一下如果 MLP 非等深会出现什么问题

2023-05-10 10:31:02 +08:00
 Oilybear

RT ，纯纯好奇如果是个很傻的问题请轻喷，跟着沐神的动手实验只学到 MLP 。既然是仿神经，那人类的神经元也并非等长。MLP 的设计是否也可以试试？比如随机把某几个第一隐藏层的输出和一些高隐藏层的输出拼在一起作为最后输出层的 input

619 次点击
所在节点    机器学习
2 条回复
Oilybear
2023-05-10 10:35:22 +08:00
有点脑抽了，突然想到每一个 hidden 的 W 可以控制，如果真的没有印象很有可能就学成 0 了，就相当于没有影响，等价于上面的想法
Ricardoo
2023-05-10 10:51:46 +08:00
> 比如随机把某几个第一隐藏层的输出和一些高隐藏层的输出拼在一起作为最后输出层的 input
你是说 残差连接？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/938809

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX