0. PMF 与 PDF 的记号 PMF:PX(x) PDF:fX(x) 1. 联合概率 联合概率:是指两个事件同时发生的概率. P(A,B)=P(B|A)⋅P(A)⇒P(B|A)=P(A,B)P(A) 因此当两事件独立时,P(A,B)=P(A)⋅P(B),此时,P(B|A)=P(B),也即事件 A 发不发生对事件 B 发生的概率没有影响. 2. 分布与分布函数 分布函数的现实意义在于,其能够计算随机变量的取值落在某一区间 (x1,x2] 的概率:P{x1<X≤x2}: P{x1<X≤x2}=

一个例子: 两个盒子: 一个红色:2个苹果,6个橘子; 一个蓝色:3个苹果,1个橘子; 如下图: 现在假设随机选取1个盒子,从中.取一个水果,观察它是属于哪一种水果之后,我们把它从原来的盒子中替换掉.重复多次. 假设我们40%的概率选到红盒子,60%的概率选到蓝盒子.并且当我们把取出的水果拿掉时,选择盒子中任何一个水果还是等可能的. 问题: 1.整个过程中,取得苹果的概率有多大? 2.假设已经去的了一个橘子的情况下,这个橘子来自蓝盒子的可能性有多大? (这里,推荐一篇好文:数学之美番外篇:平凡而

条件随机场Conditional Random Field-CRF入门级理解   有向图与无向图模型 CRF模型是一个无向概率图模型,更宽泛地说,它是一个概率图模型.现实世界的一些问题可以用概率图模型表示.这里可以用一个简单的例子说明:建立一个简单的图模型来分析一部电影是否会获得高票房.这个例子主要用于介绍概率图模型,其中的观点内容纯属编造.经过“认真”分析,发现一部电影的票房和以下因素有很大的关系: 剧本是否精彩,内容是否充实: 演员阵容是否强大,是否有可以吸引票房的明星: 演员表演是否精彩到

Let $X=\{x_1,x_2,...,x_n\}$ be a finite set and let $P$ be a probability function defined on all subsets of $X$ with $P(\{x_i\})=a_i,~1\leq i \geq n,~0<a_i<1$ for i and $\sum^{n}_{i=1}=1$. $X$ together with $P$ is a discrete (finite) probability dis

一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in the field of pattern recognition is that of uncertainty. 可以看出概率论在模式识别显然是非常重要的一大块. 读其他书的时候在概率这方面就也很纠结过. 我们也还是通过一个例子来理解一下Probability Theory里面一些重要的概念. Ima

The Basics of Probability Probability measures the amount of uncertainty of an event: a fact whose occurence is uncertain. Sample space refers to the set of all possible events, denoted as . Some properties: Sum rule: Union bound: Conditional probabi

顾名思义, 条件概率指的是某个事件在给定其他条件时发生的概率, 这个非常符合人的认知:我们通常就是在已知一定的信息(条件)情况下, 去估计某个事件可能发生的概率. 概率论中,用 | 表示条件, 条件概率可以通过下式计算得到P(Y=y|X=x)=P(Y=y,X=x)P(X=x)P(Y=y|X=x)=P(Y=y,X=x)P(X=x), 即 在 x 发生的条件下 y 发生的概率 等于 x,y 同时发生的联合概率 除以 x自身的概率. 注意, 必须满足 P(x)>0P(x)>0, 否则对于永远不会发生

Joint consensus 分为2个阶段,first switches to a transitional configuration we call joint consensus; once the joint consensus has been committed, the system then transitions to the new configuration. The joint consensus combines both the old and new config

http://www.zhihu.com/question/20962240 Yang Eninala杜克大学 生物化学博士 线性代数 收录于 编辑推荐 •2216 人赞同 ×××××11月22日已更新××××× 隐马尔可夫(HMM)好讲,简单易懂不好讲.我认为 @者也的回答没什么错误,不过我想说个更通俗易懂的例子.我希望我的读者不是专家,而是对这个问题感兴趣的入门者,所以我会多阐述数学思想,少写公式.霍金曾经说过,你多写一个公式,就会少一半的读者.所以时间简史这本关于物理的书和麦当娜关于性的书

frequentism-and-bayesianism-chs-ii 频率主义 vs 贝叶斯主义 II:当结果不同时   这个notebook出自Pythonic Perambulations的博文 . The content is BSD licensed.   这个系列共4个部分:中文版Part I Part II Part III Part IV,英文版Part I Part II Part III Part IV   在上一篇我论述了频率主义和贝叶斯主义在科学计算方面的差异.其中,讨论了

什么是模式识别(Pattern Recognition)? 按照Bishop的定义,模式识别就是用机器学习的算法从数据中挖掘出有用的pattern. 人们很早就开始学习如何从大量的数据中发现隐藏在背后的pattern.例如,16世纪的Kepler从他的老师Tycho搜集的大量有关于行星运动的数据中发现了天体运行的规律,并直接导致了牛顿经典力学的诞生.然而,这种依赖于人类经验的.启发式的模式识别过程很难复制到其他的领域中.例如手写数字的识别.这就需要机器学习的技术了.(顺便提一下,开普勒定律在物理

这里用Venn diagram来不严谨地推导一下贝叶斯定理. 假设A和B为两个不相互独立的事件. 交集(intersection):  上图红色部分即为事件A和事件B的交集. 并集(union):  由Venn diagram可以看出,在事件B已经发生的情况下,事件A发生的概率为事件A和事件B的交集除以事件B: 同理,在事件A已经发生的情况下,事件B发生的概率为事件A和事件B的交集除以事件A: 注:表示 A,B 事件同时发生的概率,如果 A 和 B 是相互独立的两个事件,那么:. 由上面的公式可

目录 一.引言 1.什么是.为什么需要深度学习 2.简单的机器学习算法对数据表示的依赖 3.深度学习的历史趋势 最早的人工神经网络:旨在模拟生物学习的计算模型 神经网络第二次浪潮:联结主义connectionism 神经网络的突破 二.线性代数 1. 标量.向量.矩阵和张量的一般表示方法 2. 矩阵和向量的特殊运算 3. 线性相关和生成子空间 I. 方程的解问题 II. 思路 III. 结论 IV.求解方式 4. 范数norm I. 定义和要求 II. 常用的\(L^2\)范数和平方\(L^2\

Lecture 11 — Hopfield Nets Lecture 12 — Boltzmann machine learning Ref: 能量模型(EBM).限制波尔兹曼机(RBM) 高大上的模型和理论. Hopfield Nets 看了能量函数,发现: These look very much like the weights and biases of a neural network. [点到为止] Boltzmann machine learning From: A Beginne

在Spark2.0版本中(不是基于RDD API的MLlib),共有四种聚类方法:      (1)K-means      (2)Latent Dirichlet allocation (LDA)      (3)Bisecting k-means(二分k均值算法)      (4)Gaussian Mixture Model (GMM)       基于RDD API的MLLib中,共有六种聚类方法:      (1)K-means      (2)Gaussian mixture     

闲着无聊的时候,我就会问问自己,编程也有了五年经验了,除了增删改查,我还会什么,有一天我跳槽,去面试的时候,我能比那些年轻而且期望薪资待遇低的年轻毕业生,我有什么优势,而且我只是一个专科的机电系学生,居然来做软件编程,好戏剧的一切,渐渐的给自己洗脑,自己都忘记自己是培训机构出来的,说了这么多抱怨的话,没有说培训机构的不好,没有说我们专科生就一定比高学历人才的差,归根到底还是需要学习吧,自学了半年多python,现在报了一个假期培训班来学习NLP,英语是硬伤,自己表示很无奈. 言归正传,我来给大家

AAAI 2018 分析 word embedding Learning Sentiment-Specific Word Embedding via Global Sentiment Representation Context-based word embedding learning approaches can model rich semantic and syntactic information. However, it is problematic for sentiment an

引言 自然语言处理NLP(nature language processing),顾名思义,就是使用计算机对语言文字进行处理的相关技术以及应用.在对文本做数据分析时,我们一大半的时间都会花在文本预处理上,而中文和英文的预处理流程稍有不同,本文就对中.英文文本挖掘的常用的NLP的文本预处技术做一个总结. 文章内容主要按下图流程讲解: 1.中英文文本预处理的特点 中英文的文本预处理大体流程如上图,但是还是有部分区别.首先,中文文本是没有像英文的单词空格那样隔开的,因此不能直接像英文一样可以直接用最简

目录 01 Introduction Bridging this gap between AI and humans is an important direction. FSL can also help relieve the burden of collecting large-scale supervised data. Driven by the academic goal for AI to approach humans and the industrial demand for

Basis(基础): SSE(Sum of Squared Error, 平方误差和) SAE(Sum of Absolute Error, 绝对误差和) SRE(Sum of Relative Error, 相对误差和) MSE(Mean Squared Error, 均方误差) RMSE(Root Mean Squared Error, 均方根误差) RRSE(Root Relative Squared Error, 相对平方根误差) MAE(Mean Absolute Error, 平均绝