F函数的极大极大算法-程序员宅基地

F函数中的F应该是（free energy）的缩写，这个函数可以帮我们换一个思路理解EM算法：
EM算法中总有一个Q函数，在证明过程中有一些地方不是很形象，如果用F函数极大极大算法可以比较好的理解。本文所用的变量名称与李航第九章相同，即，隐变量数据：Z；观测变量数据：Y（永远是已知的）；需要估计的模型参数 $\theta$ ,概率分布一律用P（·）表示。

1、最大似然估计法

大致的意思是说，我们现在想知道一个分布，通过在这个陌生的分布里采样的方法来确定这个分布。我们大致想用一些模型来近似这个陌生的分布，我们当然可以很武断的认为这个陌生的分布就是一个确定的分布，比如说是一个的高斯分布，这时候我们需要确定的参数只有 $\mu$ 和 $\sigma$ 假设我们用 $\theta$ 来代表这两个参数。我们从分布中采样，采样的观测数据不妨设为Y，这时候我们如何确定参数 $\theta$ 呢？ $\theta=\mathop{\arg\max}_{\theta} \ \mathrm{P} (Y|\theta)$ 或者是 $\theta=\mathop{\arg\max}_{\theta} \ log\left(\mathrm{P} (Y|\theta)\right)$ 也就是我们最大化 $P(Y|\theta)$ 是通过找到这样的参数，使得在由这个参数所确定的分布中，最大可能采样到我们采样出来的结果Y。不难看出，无论怎样只要我们认定了一种高斯分布，无论输入什么样的数据总能得到一组结果，这是好事。但是我们一旦认定了我们希望求出的分布是由一种高斯分布决定的，那么我们所有的运算过程算的再好所能表达的也只有由一个高斯分布所能表达，真实的分布可能千奇百怪，但我们一旦选定这种表达框架，我们得出的结果永远都是高斯分布那种“钟型”的样子，以上是所谓最大似然估计法。

2、EM算法

现在的问题是，如果真实的分布比较复杂，不是一个高斯分布可以描述的了，真实的分布是有90%概率是高斯分布1，有10%概率是高斯分布2，我们可能需要一些隐变量Z来描述关于逼近的关系，【之所以用隐变量，也是希望我们所设定的表达框架表达能力更强一些，比如上面这个例子，隐变量的值就是（10%和90%）】。那么这样我们就需要用到EM算法。无论是最大似然估计还是EM算法，我们都是用这个式子来确定我们想要得到的参数的 $\theta=\mathop{\arg\max}_{\theta} L(\theta)=\mathop{\arg\max}_{\theta}\ log\left(\mathrm{P} (Y|\theta)\right)$

本文链接：https://blog.csdn.net/weixin_37824195/article/details/61623718

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Python实现自动挂机脚本（基础篇）_我是农场主自动挂机脚本-程序员宅基地

文章浏览阅读8.4w次，点赞67次，收藏608次。不知不觉肝阴阳师也快一年了，对这游戏真是又爱又恨，最近刚刚发布了PC版，突然很想尝试着写个脚本挂机，话不多说进入正题。简单的鼠标操作游戏挂机脚本，无非就是自动移动鼠标，自动点击，进行重复操作，所以，第一步就是如何控制鼠标_我是农场主自动挂机脚本

java 筛法_AcWing 874. 筛法求欧拉函数JAVA-程序员宅基地

文章浏览阅读135次。时间复杂度O(n)java代码import java.util.*;class Main{static int n = 0, N = 1000010;static int[] phi = new int[N];//存储数字n的质数的个数static int[] primes = new int[N];//存储质数的下标对应的质数static int cnt = 0;//存储质数的下标static ..._java 欧拉筛

时间管理类APP分析:拇指时间-程序员宅基地

文章浏览阅读1.1w次，点赞2次，收藏19次。就目前市场来看，时间管理类应用，大致分为划分为：行程管理、任务管理和备忘管理三种类型。市场上，这三种类型的产品百花齐放，做细分市场的，做垂直人群的不断在增加。今天，我们来看看“日历”，这个可以囊括行程管理、任务管理和备忘管理的工具。数据显示，从07年到15年的，人们对PC日历的需求越来越大，为了方便用户，日历APP在此基础上开始衍生。 APP因手机、平板等电子化设备携带方便，在各使用场景中占有优势_时间管理类app用户调研

MySQL-程序员宅基地

文章浏览阅读371次。1、初识MySQLjavaEE：企业级java开发 Webweb分为：前端（页面：展示（数据库里的数据））后台（连接点：链接数据库JDBC，链接前端（做控制，控制试图跳转，和给前端传递数据））数据库（存数据，txt,Excel,world）只会写代码的码农是基本的，学好数据库；基本混饭吃学习操作系统，学习数据结构与算法！当一个不错的程序员离散数学，数字电路，网站体系结构，编译原理。+实战经验 = 优秀的程序员1.1、为什么学习数据库岗位需求现在的世界，大数据时代，

Bug的生命周期状态流程图_bug生命周期流程图-程序员宅基地

文章浏览阅读4.3k次，点赞2次，收藏8次。bug的生命周期BUG的生命周期，就是一个BUG被发现到这个BUG被关闭的过程。生命周期中缺陷状态：新建-->指派-->已解决-->待验-->关闭发现BUG-->提交BUG-->指派BUG-->研发确认BUG-->研发去修复BUG-->回归验证BUG-->是否通过验证-->关闭BUG如果待验的BUG在验证时没有解决好，我们需要重新打开--指派—已解决—待验，循环这个过程。中间其他状态：拒绝、延期等_bug生命周期流程图

Pandas对行/列求和_pandas对具体列求和-程序员宅基地

文章浏览阅读5.3k次，点赞3次，收藏18次。Pandas对行/列求和_pandas对具体列求和

随便推点

C和C++安全编码笔记：总结_c与c++安全编码试题-程序员宅基地

文章浏览阅读3.4k次，点赞8次，收藏51次。《C和C++安全编码》(原书第2版)这本书是2013年出版的。这里是基于之前所有笔记的简单总结，笔记列表如下：字符串：https://blog.csdn.net/fengbingchun/article/details/105325508指针诡计：https://blog.csdn.net/fengbingchun/article/details/105458861动态内存管理：https://blog.csdn.net/fengbingchun/article/details/105921_c与c++安全编码试题