最大似然估计(MLE)与最小二乘估计(LSE)的区别 | 您所在的位置:网站首页 › ml估计量 › 最大似然估计(MLE)与最小二乘估计(LSE)的区别 |
最大似然估计与最小二乘估计的区别
标签(空格分隔): 概率论与数理统计 最小二乘估计对于最小二乘估计来说,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值与观测值之差的平方和最小。 设Q表示平方误差,\(Y_{i}\)表示估计值,\(\hat{Y}_{i}\)表示观测值,即\(Q = \sum_{i=1}^{n}(Y_{i} - \hat{Y}_{i})^{2}\) 最大似然估计对于最大似然估计来说,最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大,也就是概率分布函数或者似然函数最大。 显然,最大似然估计需要已知这个概率分布函数,一般假设其满足正态分布函数的特性,在这种情况下,最大似然估计与最小二乘估计是等价的,也就是估计的结果是相同的。 最大似然估计原理: 当给定样本\(x_{1}, x_{2}, ... ,x_{n}\)时,定义似然函数为\(L(\theta) = f(x_{1}, x_{2}, ... ,x_{n};\theta)\); \(L(\theta)\)看做是\(\theta\)的函数,最大似然估计就是用使\(L(\theta)\)达到最大值的\(\hat{\theta}\)去估计\(\theta\),这时称\(\hat{\theta}\)为\(\theta\)的最大似然估计;MLE的步骤: 由总体分布导出样本的联合概率函数(或联合密度); 把样本联合概率函数的自变量看成是已知常数,而把\(\theta\)看做是自变量,得到似然函数\(L(\theta)\); 求似然函数的最大值(常常取对数,然后求驻点); 用样本值带入得到参数的最大似然估计。 例题设一个有偏的硬币,抛了100次,出现1次人头,99次字。问用最大似然估计(ML)和最小均方误差(LSE)估计出现人头的概率哪个大? LSE设使用LSE估计,出现人头的概率为\(\theta\), 则出现字的概率为\(1 - \theta\)。 已知观测量为:(观测到的)出现人头的概率为\(\frac{1}{100}\), (观测到的)出现字的概率为\(\frac{99}{100}\),则由最小二乘估计: \(Q(\theta) = argmin_{\theta}\sum_{1}^{100}(\theta - \hat{\theta})^{2} \\ = argmin_{\theta} \{(\frac{1}{100} - \theta)^{2} + [\frac{99}{100} - (1-\theta)]^{2} * 99\}\) 令\(\frac{\partial{Q(\theta)}}{\partial{\theta}} = 0\),解得\(\theta = \frac{1}{100}\); ML设使用ML估计,所以x服从伯努利分布,\(x \sim B(朝上,\theta)\), 则概率密度函数为: \[P(x|\theta) = \begin{cases} \theta, & \text{if x 人头朝上} \\ 1 - \theta, & \text{if x 字朝上} \end{cases} \]则连续100次试验的似然函数为: \(P(x_{1}, x_{2},..x_{100}|\theta) = C_{100}^{1}\theta^{1} * (1 - \theta)^{99} = 100 * \theta^{1} * (1 - \theta)^{99}\) 最大化似然函数,则\(\theta\)至少为驻点,对似然函数取对数并求偏导: \(\ln P(x_{1}, x_{2},..x_{100}|\theta) = \ln 100 + \ln\theta + 99\ln (1 - \theta)\) 对\(\theta\)求偏导为0,得到: \(\frac{\partial\ln P(x_{1}, x_{2},..x_{100}|\theta)}{\partial\theta} = \frac{1}{\theta} - \frac{99}{1 - \theta} = 0\), 解得\(\theta = \frac{1}{100}.\) 两者虽然得到的估计值是一样的,但是原理完全不同,要对他们的推导过程非常清楚。 |
CopyRight 2018-2019 实验室设备网 版权所有 |