了解极大似然估计

作者:杨润炜
日期:2018/2/20 01:20

极大似然估计

学习内容

  • 了解极大似然估计原理

我的理解

  • 因为某些场景的整体数据量过大,要分析其中某些情况出现的概率,就可以用极大似然估计,这样的情况在机器学习算法中频繁出现。下面用一个简单的例子来解析它:
    Minion
    这就是它最直观的原理讲解了。
    极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。
    然而在一些复杂的条件下,是很难通过直观的方式获得答案的,这时候理论分析就尤为重要了,这也是学者们为何要提出最大似然估计的原因。

    由于样本集中的样本都是独立同分布,可以只考虑一类样本集D,来估计参数向量θ。记已知的样本集为:

    似然函数(linkehood function):联合概率密度函数称为相对于的θ的似然函数。


    如果是参数空间中能使似然函数最大的θ值,则应该是“最可能”的参数值,那么就是θ的极大似然估计量
    因为事件已经发生,所以要使它发生的概率最大,这就可以转换为求极大似然函数的最大值,接下来就是求对数(简化求解过程),求导求最值。求解大概流程如下:
    求最大似然估计量的一般步骤:

    (1)写出似然函数;

    (2)对似然函数取对数,并整理;

    (3)求导数;

    (4)解似然方程。

意义

了解了极大似然估计怎样利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值。这也是平时生活中一些抽样检查的原理依据,比如人口普查;还有用在机器学习算法里的一些概率形式的数据也是用这种方法获得的。

参考

极大似然估计详解

感谢您的阅读!
如果看完后有任何疑问,欢迎拍砖。
欢迎转载,转载请注明出处:http://www.yangrunwei.com/a/92.html
邮箱:glowrypauky@gmail.com
QQ: 892413924