Expectation-Maximization

定义 Definition

期望最大化（EM）算法：一种迭代优化方法，常用于含有隐变量或缺失数据的统计模型中，通过交替执行“计算期望（E步）”与“最大化参数（M步）”来提高（对数）似然并估计模型参数。常见于高斯混合模型、隐马尔可夫模型等。

发音 Pronunciation (IPA)

/ˌɛkspɛkˈteɪʃən ˌmæksɪməˈzeɪʃən/
/ˌiː ˈɛm/

例句 Examples

We used expectation-maximization to estimate the parameters of a Gaussian mixture model.
我们使用期望最大化算法来估计高斯混合模型的参数。

Because the dataset has missing values, expectation-maximization provides a practical way to iteratively refine the model while accounting for uncertainty.
由于数据集中存在缺失值，期望最大化算法提供了一种实用的方法，在考虑不确定性的同时迭代地改进模型。

词源 Etymology

“Expectation-Maximization”由两部分组成：expectation（期望）指在给定当前参数时，计算隐变量或缺失部分的期望值/期望对数似然；maximization（最大化）指在固定这些期望后，更新参数以使目标函数（通常是似然或对数似然）增大。该名称直接概括了算法的两步循环结构。

相关词 Related Words

• Likelihood
• Latent
• Iteration
• Convergence
• Bayesian
• Mixture
• Clustering
• Hidden Markov Model

文献与作品 Literary Works

• Dempster, Laird & Rubin (1977), Maximum Likelihood from Incomplete Data via the EM Algorithm（提出并系统化EM算法的经典论文）
• Bishop (2006), Pattern Recognition and Machine Learning（机器学习教材中常以EM讲解混合模型与隐变量学习）
• Murphy (2012), Machine Learning: A Probabilistic Perspective（以概率建模视角广泛讨论EM及其变体）
• Hastie, Tibshirani & Friedman (2009), The Elements of Statistical Learning（在聚类与混合模型等章节中使用EM思想）