这个时代已经是多学科相互渗透的时代,纯粹的传统学科在没落,新兴的交叉学科在不断兴起. life science neurosciences statistics computer science information theory 我的问题很简单: 一个细胞里到底保存了多少信息,复制.转录.翻译过程中传递了多少信息? 神经突触传递信息的上限是多少? 想回答这些问题就必须要学习信息论! 什么是信息? 两个同样的光碟里保存的信息是一样的吗? 人和信息的关系是什么?假设所有人都不存在了,信息还存在吗…

参考: 模式识别与机器学习(一):概率论.决策论.信息论 Decision Theory - Principles and Approaches 英文图书 What are the best beginners books about decision theory? - Quora Statistical Decision Theory 了解一些AI方面的前沿知识!!! 待续~…

信息论(Information Theory)是概率论与数理统计的一个分枝.用于信息处理.信息熵.通信系统.数据传输.率失真理论.密码学.信噪比.数据压缩和相关课题.本文主要罗列一些基于熵的概念及其意义,注意本文罗列的所有 $\log$ 都是以 2 为底的. 信息熵 在物理界中熵是描述事物无序性的参数,熵越大则越混乱.类似的在信息论中熵表示随机变量的不确定程度,给定随机变量 X ,其取值 $x_1, x_2, \cdots ,x_m$ ,则信息熵为: \[H(X) =\sum_{i=1}^{m}…

高维空间中的球体 注:此系列随笔是我在阅读图灵奖获得者John Hopcroft的最新书籍<Computer Science Theory for the Information Age>所作的笔记.其中我只详细读了第二(高维空间).三(随机图).六(VC理论)章,其他的某些章节也略微看了一下,但没有作笔记.此书的章节大部分是相互独立的,事实上每一个章节都是一个大的方向,代表了作者认为的在信息时代中最有用的计算机理论. (一)介绍 第一部分,高维空间.在现实的世界里,很多数据的维度都是及其高的…

This will be a series of post about Tree model and relevant ensemble method, including but not limited to Random Forest, AdaBoost, Gradient Boosting and xgboost. So I will start with some basic of Information Theory, which is an importance piece in T…

Better intuition for information theory 2019-12-01 21:21:33 Source: https://www.blackhc.net/blog/2019/better-intuition-for-information-theory/ The following blog post is based on Yeung’s beautiful paper “A new outlook on Shannon’s information measure…

Chapter 1.6 : Information Theory     Chapter 1.6 : Information Theory Christopher M. Bishop, PRML, Chapter 1 Introdcution 1. Information h(x) Given a random variable and we ask how much information is received when we observe a specific value for thi…

一些机器学习算法的简介 本节开始,介绍<Computer Science Theory for the Information Age>一书中第六章(这里先暂时跳过第三章),主要涉及学习以及学习的理论——VC理论.而本文主要是介绍一下什么是学习,以及一些常见的学习算法. (一)学习概念 首先,我们用一个例子来介绍什么是学习.假设我们想要用一个算法来识别不同类型的车,比如小汽车.卡车.拖拉机等.根据我们的思维以及对这个领域的知识可知道,我们可以用一系列特征来区分它们,比如我们可以用轮子的数量,发…

2.GRASP原则二:信息专家 Information Expert  What is a general principle of assigning responsibility to objects? 为一个对象 分配职责的一般原则是什么?  “鸡鸣狗盗” 战国时候,齐国的孟尝君喜欢招纳各种人做门客,号称宾客三千….2.2 GRASP rule2: Information Expert  Name: Information Expert (信息专家)  Problem:  Wha…

https://en.wikipedia.org/wiki/Claude_Shannon In 1948, the promised memorandum appeared as "A Mathematical Theory of Communication," an article in two parts in the July and October issues of the Bell System Technical Journal. This work focuses on…