资讯专栏INFORMATION COLUMN

最大似然法与似然函数

monw3c / 1539人阅读

在统计学中,最大似然估计,也称最大概似估计,是用来估计一个概率模型的参数的一种方法

通俗来讲,最大似然估计是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。
定义

给定一个概率分布 ${displaystyle D}​$ ,已知其概率密度函数(连续分布)或概率质量函数(离散分布)为 $f_D​$,以及一个分布参数 ${displaystyle heta }​$ ,我们可以从这个分布中抽出一个具有$ {displaystyle n} ​$个值的采样$ {displaystyle X_{1},X_{2},ldots ,X_{n}}​$,利用${displaystyle f_{D}}​$计算出其似然函数:

​ $$lik( heta|x_1,...,Xn)=f_{ heta}(x_1,...x_n)$$

如何理解似然函数?
 理解一:

​ $L( heta|x)=f(x| heta)$

上述公式从两个角度描述了某一事件发生的情况。该等式两边都表示这个事件发生的概率。

在给定样本后,我们去想这个样本出现的可能性到底有多大?在统计学上,我们认为样本的出现是服从分布函数的,我们假设这个分布函数位$f$,里面含有参数$ heta$,对于不同的$ heta$,样本的分布也不一样。$f(x| heta)$ 就表示子在给定参数$ heta$的时候,x出现的概率为多少。

$L( heta|x)$则表示,在给定样本的x的时候,存在哪一个参数$ heta$使得x出现的可能性最大。等式的意义表示给定一个参数$ heta$和一个样本$x$的时候整个事件的可能性多大。

理解二:

在这种意义上,似然函数可以理解为条件概率的逆反。在已知某个参数$ heta$时,事件A会发生的概率写作:

​ $$P(A| heta)=frac{P(A, heta)}{P( heta)}$$

然后似然函数是已知$X$对于$ heta$的函数,根据贝叶斯定理,

​ $$P( heta|A)=frac{P(A| heta)P( heta)}{P(A)}$$

如何理解最大似然函数?
最大似然估计:当我们知道总体的概率分布模型的时候,但是不知道概率分布函数的参数的情况下,我们用样本来估计参数。

简单来说,就是通过确定分布函数的参数是多少的情况下,使得我们抽的当下样本的概率最大

对于极大似然估计采取的步骤一般为:

写出似然函数;

如果无法直接求导的话,对似然函数取对数;

求导数,令导数为0,得到似然方程;

解似然方程,得到的参数即为所求;

为什么要使用对数似然函数?

1.如果假设条件是独立同分布,那么似然函数往往是连乘的形式,这样子求偏导数,不容易;通过取对数的形式将连乘变为求和

2.概率值是小数,多个连乘的情况下,容易造成下溢

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/19720.html

相关文章

  • 最大似然与似函数

    在统计学中,最大似然估计,也称最大概似估计,是用来估计一个概率模型的参数的一种方法 通俗来讲,最大似然估计是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。 定义 给定一个概率分布 ${displaystyle D}​$ ,已知其概率密度函数(连续分布)或概率质量函数(离散分布)为 $f_D​$,以及一个分布参数 ${displaystyle heta }​$...

    SolomonXie 评论0 收藏0
  • 最大似然与似函数

    在统计学中,最大似然估计,也称最大概似估计,是用来估计一个概率模型的参数的一种方法 通俗来讲,最大似然估计是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。 定义 给定一个概率分布 ${displaystyle D}​$ ,已知其概率密度函数(连续分布)或概率质量函数(离散分布)为 $f_D​$,以及一个分布参数 ${displaystyle heta }​$...

    TalkingData 评论0 收藏0
  • 【数据科学系统学习】机器学习算法 # 西瓜书学习记录 [1] 线性回归和 Logistic 回归

    摘要:求解一元线性回归参数接下来,就是确定和了。即称为对数线性回归。其中,函数称为联系函数。称它为对数几率回归亦称,是一种分类学习方法。在周志华的机器学习里译为对数几率回归,在李航的统计学习方法里译为逻辑斯谛回归。 最近开始学习西瓜书《机器学习》,一本畅销的机器学习书籍,同时将结合李航的《统计学习方法》和《机器学习实战》这两本书,致力于输出更完善的内容,尽可能的用容易理解的方式输出。 在学习...

    Corwien 评论0 收藏0
  • 【Python数据分析基础】: 数据缺失值处理

    摘要:将数据集中不含缺失值的变量称为完全变量,数据集中含有缺失值的变量称为不完全变量。这种程序的实施恰当地反映了由于缺失值引起的不确定性,使得统计推断有效。 作者:xiaoyu 微信公众号:Python数据科学 知乎:python数据分析师 showImg(https://segmentfault.com/img/remote/1460000015801387?w=1045&h=603);...

    hizengzeng 评论0 收藏0
  • 深度学习中的概率知识详解

    摘要:等式右边的分子式即为似然函数,考虑了模型参数出现的先验概率。生成式模型与判别式模型判别式模型学习的目标是条件概率或者是决策函数,其实这两者本质上是相同的。生成模型学习的是联合概率分布,从而求得条件概率分布。 1. 基础概念 随机变量(连续,离散): 对可能状态的描述, 在机器学习算法中,每个样本的特征取值,标签值都可以看作是一个随机变量,包括离散型随机变量和连续型随机变量概率分布: 用...

    AlphaWallet 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<