Shared Weights

定义 Definition

shared weights（共享权重）指在机器学习/深度学习模型中，让多个层、多个时间步或多个模块使用同一组参数（权重），以减少参数量、强化一致性，并常用于卷积神经网络、循环神经网络、Siamese 网络、Transformer 的输入/输出嵌入等场景。

发音 Pronunciation (IPA)

/ʃɛrd weɪts/

例句 Examples

In a CNN, shared weights allow the same filter to detect a pattern anywhere in the image.
在卷积神经网络中，共享权重使同一个滤波器可以在图像的任何位置检测同一种模式。

By using shared weights across two branches of a Siamese network, the model learns comparable representations for matching tasks.
通过在孪生网络的两个分支之间共享权重，模型能够学习到可用于匹配任务的可比表示。

词源 Etymology

shared 来自 share（分享、共用），表示“被共同使用的”；weights 在深度学习里指模型可学习的参数（源自“重量/权重”的比喻，用来表示对结果的影响程度）。合起来 shared weights 就是“多处共用的一套参数”。

相关词 Related Words

• Parameter Sharing
• Weight Tying
• Siamese Network
• Convolution
• Kernel
• Embedding
• Transformer
• Regularization

文献与作品 Literary / Notable Works

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）——讨论卷积中的参数/权重共享思想
• “Gradient-Based Learning Applied to Document Recognition”（LeCun et al., 1998）——经典 CNN 论文，核心机制之一就是共享卷积核权重
• “Siamese Neural Networks for One-shot Image Recognition”（Koch et al., 2015）——孪生网络通过共享权重进行度量学习
• “Using the Output Embedding to Improve Language Models”（Press & Wolf, 2017）——提出/推广输入与输出嵌入的权重绑定（weight tying）