EM算法

极大似然估计

如果存在一些样本数据，服从某个均值为$\mu$方差为$\sigma^2$高斯分布，可以将每个样本的值代入高斯分布的公式，从而得到每个样本的概率值，将所有样本的概率值相乘，就是样本的似然函数，使得似然函数最大时的高斯模型，就是接近真实分布的模型。通过估计可以得到高斯模型的均值和方差

$\mu = \frac{1}{n} \Sigma x_i$

$\sigma^2 = \frac{1}{n} \Sigma(x_i-\mu)^2$

这是极大似然估计求解模型参数

存在隐变量时

某些时候，随机变量无法直接（完全）观察到，比如一些样本可能是多个高斯模型的叠加（高斯混合模型，GMM），但是又不能确定哪些样本属于第一个高斯模型，哪些属于第二个高斯模型，因此就无法直接根据上式(1)(2)计算得到

问题举例

比如某随机变量$X$是由$K$个高斯分布组成，取各个高斯分布的概率为$\Pi_1,\Pi_2,...\Pi_n$，第$i$个高斯分布的均值方差分别为$\mu_i,\sigma_i$，观察到一系列样本$x_1,x_2,...x_n$，估计参数$\Pi, \mu, \sigma$

目标函数

也可以通过极大似然法求，但是没法用直接求导的方法求最大值，为了解决这个问题，分为两步得到结果

1. 估算数据来自哪个组分：估计数据由每个组分生成的概率：对于每个样本$x_i$，它由第$k$个组份组成的概率为：

$\gamma(i,k) = \frac{\pi_kN(x_i|\mu_k,\sigma_k)}{\Sigma\pi_jN(x_i|\mu_j,\sigma_j)}$

这里需要先验给定每类高斯分布的均值和方差

$\gamma(i,k)$可以看作组分$k$在生成数据$x_i$时所作的贡献

2. 估计每个组分的参数，对于所有的样本点，对于组分$k$而言，可以看作生成了${\gamma(i,k)x_i|i=1,2,3,...N}$这些点，组分$k$是一个标准的高斯分布，利用上面的结论，可以得到

$N_k=\Sigma\gamma(i,k)$

$\mu_k=\frac{1}{N_k}\Sigma\gamma(i,k)x_i$

$\sigma_k=\frac{1}{N_k}\Sigma\gamma(i,k)(x_i-\mu_k)(x_i-\mu_k)^T$

$\pi_k=\frac{N_k}{N}=\frac{1}{N}\Sigma\gamma(i,k)$