[PR & ML 6] [Introduction] Information Theory

虽然学过Machine Learning和Probability今天看着一part的时候还是感觉挺有趣,听惊呆的,尤其是Bayesian Approach.奇怪发中文的笔记就很多人看,英文就没有了,其实我觉得英文的写得更好呀...囧...一边看一边写一边实现,好慢,求同道中人啊...

这两部分内容比较少,都是直觉上的例子和非正式的定义,当然这本书中绝大多数定义都是非正式的,但方便理解.后面深入之后会对这两个章节有详细的阐述.

啊啊啊,竟然不支持latex,竟然HTML代码不能包含javascript,代码编辑器也不支持Matlab!!!我要吐槽博客的编辑器...T_T只能贴图凑合看了,代码不是图,但这次为了省脑细胞,写的不简洁,凑合看吧... numPoints = 10; lnlambda = [-Inf -18 0]; M = 9; % [0, 1, 3, 9]; x = linspace(0,1); % gt data for plotting t = sin(2*pi*x); ttest = t + norm

Chapter 1.6 : Information Theory Chapter 1.6 : Information Theory Christopher M. Bishop, PRML, Chapter 1 Introdcution 1. Information h(x) Given a random variable and we ask how much information is received when we observe a specific value for this va

https://en.wikipedia.org/wiki/Claude_Shannon In 1948, the promised memorandum appeared as "A Mathematical Theory of Communication," an article in two parts in the July and October issues of the Bell System Technical Journal. This work focuses on

http://www.inference.org.uk/mackay/itprnn/ http://videolectures.net/course_information_theory_pattern_recognition/ 1948, Shanon's fundamental problem: Reliable communication over an unreliable channel eg: change the physics: replace equipment with a

信息论 熵 如果离散随机变量有P(X)分布,那么x所携带的熵(信息量): 之所以用log2来作为底,是为了方便衡量该信息可以用多少bit来表示.因为1个bit非0即1. 从上公式可以推导出:当k个状态发生的几率一样时,随机变量X所携带的熵越大.正如下图表示的伯努利分布所携带的熵随着概率变化的结果: KL divergence KL divergence 全称Kullback-Leibler divergence , 用来衡量两个分布之间的离散程度.公式如下: H (p, q)  是cross e

熵 给定一个离散变量,我们观察它的每一个取值所包含的信息量的大小,因此,我们用来表示信息量的大小,概率分布为.当p(x)=1时,说明这个事件一定会发生,因此,它带给我的信息为0.(因为一定会发生,毫无悬念) 如果x和y独立无关,那么: 他们之间的关系为: (p(x)=1时,h(x)=0,负号为了确保h(x)为正,这里取2为底是随机的,可以取其他的正数(除了1)) 因此,对于所有x的取值,它的熵有: 注:,当遇到时, 这里插一段信息熵的解释: ———————————————————————————