EM算法理解的九层境界 EM 就是 E + M EM 是一种局部下限构造 K-Means是一种Hard EM算法 从EM 到 广义EM 广义EM的一个特例是VBEM 广义EM的另一个特例是WS算法 广义EM的再一个特例是Gibbs抽样算法 WS算法是VAE和GAN组合的简化版 KL距离的统一 第一层境界, EM算法就是E 期望 + M 最大化 最经典的例子就是抛3个硬币,跑I硬币决定C1和C2,然后抛C1或者C2决定正反面, 然后估算3个硬币的正反面概率值. &a…

参考:http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E2%80%93Pratt_algorithm.html 2016-08-22 前言:自己看<算法导论>中关于KMP算法的讲解,文字描述+插图+伪代码,但最终还是云里雾里.之后借助于上面提到的博客才有所体会.感谢博主. 对于其最核心的部分---当模板字符串中前面q个字符和源字符串中的某个子串匹配时,如果继续往下匹配,发现两个字符并不相同,那该如何移动模板字符串进行比较呢…

完整内容迁移至 http://www.face2ai.com/DIP-2-3-FFT算法理解与c语言的实现/ http://www.tony4ai.com/DIP-2-3-FFT算法理解与c语言的实现/ 为什么需要FFT 第一个问题是为什么要创造FFT,简单的说,为了速度.我们承认DFT很有用,但是我们发现他的速度不是很快,1D的DFT原始算法的时间复杂度是O(n^2),这个可以通过公式观察出来,对于2D的DFT其时间复杂度是O(n^4),这个速度真的很难接受,也就是说,你计算一幅1024x76…

目录 基本要素 HMM三大问题 概率计算问题 前向算法 后向算法 前向-后向算法 基本要素 状态 \(N\)个 状态序列 \(S = s_1,s_2,...\) 观测序列 \(O=O_1,O_2,...\) \(\lambda(A,B,\pi)\) 状态转移概率 \(A = \{a_{ij}\}\) 发射概率 \(B = \{b_{ik}\}\) 初始概率分布 \(\pi = \{\pi_i\}\) 观测序列生成过程 初始状态 选择观测 状态转移 返回step2 HMM三大问题 概率计算问题(评…

HMM-前向后向算法理解与实现(python) HMM-维特比算法理解与实现(python) 解码问题 给定观测序列 \(O=O_1O_2...O_T\),模型 \(\lambda (A,B,\pi)\),找到最可能的状态序列 \(I^∗=\{i^∗_1,i^∗_2,...i^∗_T\}\) 近似算法 在每个时刻 \(t\) 选择最可能的状态,得到对应的状态序列 根据HMM-前向后向算法计算时刻 \(t\) 处于状态 \(i^*_t\) 的概率: \[i^∗_t=argmax[\gamma_t(…

背景:本文是在小甲鱼数据结构教学视频中的代码的基础上,添加详细注释而完成的.该段代码并不完整,仅摘录了核心算法部分,结合自己的思考,谈谈理解. Prim算法理解: 如图(摘录自小甲鱼教学视频中的图片),是一个带有权值的连通网: 根据上图可以列写出该连通网的邻接表,为了方便直观的理解:(邻接表初始化需按照权值增序排列) edges数组 begin end weight edge0 4 7 7 edge1 2 8 8 edge2 0 1 10 edge3 0 5 11 edge4 1 8 12 ed…

背景:本文是在小甲鱼数据结构教学视频中的代码的基础上,添加详细注释而完成的.该段代码并不完整,仅摘录了核心算法部分,结合自己的思考,谈谈理解. Prim算法理解: 如图(摘录自小甲鱼教学视频中的图片),是一个带有权值的连通网. 根据上图可以列写出该连通网的邻接矩阵,为了方便直观的理解: 权值 V0 V1 V2 V3 V4 V5 V0 0 6 1 5 Ꚙ Ꚙ V1 6 0 5 Ꚙ 3 Ꚙ V2 1 5 0 7 5 4 V3 5 Ꚙ 7 0 Ꚙ 2 V4 Ꚙ 3 5 Ꚙ 0 6 V5 Ꚙ Ꚙ 4 2…

1.问题概述 NFA 和 DFA浅析---要深入了解正则表达式,必须首先理解有穷自动机. 有穷自动机(Finite Automate)是用来模拟实物系统的数学模型,它包括如下五个部分: 有穷状态集States 输入字符集Input symbols 转移函数Transitions 起始状态Start state 接受状态Accepting state(s)(终止状态) 下图为一台有穷自动机…

一.算法概述 1.kNN算法又称为k近邻分类(k-nearest neighbor classification)算法. 最简单平庸的分类器或许是那种死记硬背式的分类器,记住全部的训练数据,对于新的数据则直接和训练数据匹配,假设存在同样属性的训练数据,则直接用它的分类来作为新数据的分类.这样的方式有一个明显的缺点,那就是非常可能无法找到全然匹配的训练记录. kNN算法则是从训练集中找到和新数据最接近的k条记录,然后依据他们的主要分类来决定新数据的类别.该算法涉及3个主要因素:训练集.距离或相似的…

那就从k-means开始吧 对于机器学习的新手小白来说,k-means算法应该都会接触到吧.传统的k-means算法是一个硬聚类(因为要指定k这个参数啦)算法.这里利用百度的解释 它是数据点到原型的某种距离作为优化的目标函数,利用函数求极值的方法得到迭代运算的调整规则.K-means算法以欧式距离作为相似度测度,它是求对应某一初始聚类中心向量V最优分类,使得评价指标J最小.算法采用误差平方和准则函数作为聚类准则函数. 看上去好难懂,实际上任务就是要聚类,然后将相关的点聚成一堆嘛.这里我们可以给出…