…

…

虽然学过Machine Learning和Probability今天看着一part的时候还是感觉挺有趣,听惊呆的,尤其是Bayesian Approach.奇怪发中文的笔记就很多人看,英文就没有了,其实我觉得英文的写得更好呀...囧...一边看一边写一边实现,好慢,求同道中人啊...…

最近还没更完OpenCV又开了新坑,谁教machine learning处在紧急又重要的地位呢.更新的内容总结自Pattern Recognition and Machine Learning by Christopher M. Bishop,英文书哪里都好,不过有时候表达一个意思要写好大一段啊,所以内容上只保留了精华部分.考虑应该做ML通用英文,所以没有翻译,文章中一些重要的“请读者证明”和练习用的Matlab代码也会一并更新. Training phase (learning phase)…

这两部分内容比较少,都是直觉上的例子和非正式的定义,当然这本书中绝大多数定义都是非正式的,但方便理解.后面深入之后会对这两个章节有详细的阐述.…

啊啊啊,竟然不支持latex,竟然HTML代码不能包含javascript,代码编辑器也不支持Matlab!!!我要吐槽博客的编辑器...T_T只能贴图凑合看了,代码不是图,但这次为了省脑细胞,写的不简洁,凑合看吧... numPoints = ; lnlambda = [-Inf - ]; M = ; % [, , , ]; x = linspace(,); % gt data for plotting t = sin(*pi*x); ttest = t + normrnd(,0.2, siz…

Better intuition for information theory 2019-12-01 21:21:33 Source: https://www.blackhc.net/blog/2019/better-intuition-for-information-theory/ The following blog post is based on Yeung’s beautiful paper “A new outlook on Shannon’s information measure…

Chapter 1.6 : Information Theory     Chapter 1.6 : Information Theory Christopher M. Bishop, PRML, Chapter 1 Introdcution 1. Information h(x) Given a random variable and we ask how much information is received when we observe a specific value for thi…

信息论(Information Theory)是概率论与数理统计的一个分枝.用于信息处理.信息熵.通信系统.数据传输.率失真理论.密码学.信噪比.数据压缩和相关课题.本文主要罗列一些基于熵的概念及其意义,注意本文罗列的所有 $\log$ 都是以 2 为底的. 信息熵 在物理界中熵是描述事物无序性的参数,熵越大则越混乱.类似的在信息论中熵表示随机变量的不确定程度,给定随机变量 X ,其取值 $x_1, x_2, \cdots ,x_m$ ,则信息熵为: \[H(X) =\sum_{i=1}^{m}…

This will be a series of post about Tree model and relevant ensemble method, including but not limited to Random Forest, AdaBoost, Gradient Boosting and xgboost. So I will start with some basic of Information Theory, which is an importance piece in T…