Mutual Information

释义 Definition

（信息论/统计学）互信息：衡量两个随机变量之间共享的信息量；也可理解为“知道其中一个变量后，对另一个变量不确定性减少了多少”。

发音 Pronunciation (IPA)

/ˈmjuːtʃuəl ˌɪnfərˈmeɪʃən/

例句 Examples

Mutual information measures how much two variables are related.
互信息衡量两个变量之间相关程度有多强。

In feature selection, we choose the variable with the highest mutual information with the label to improve prediction.
在特征选择中，我们会选择与标签互信息最高的变量，以提升预测效果。

词源 Etymology

mutual 来自拉丁语 mutuus（“相互的、彼此的”）；information 来自拉丁语 informare（“塑造、告知”）。组合成 mutual information，字面意思是“彼此共享的信息”，后来在20世纪信息论中被固定用作一个专门术语。

相关词 Related Words

• Information Theory
• Entropy
• Conditional Entropy
• Kullback-Leibler Divergence
• Joint Distribution
• Correlation
• Channel Capacity
• Random Variable
• Bayesian Inference

文献作品 Literary & Notable Works

• Claude E. Shannon, A Mathematical Theory of Communication（1948）
• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory（1991/2006）
• David J. C. MacKay, Information Theory, Inference, and Learning Algorithms（2003）