用实体-联系的观点理解概率:
每个变量都要与一个事件关联,变量依赖于事件的存在而存在,两个实体是一对一的联系;
每个事件都要与一个试验关联,事件也依赖于试验的存在而存在,两个实体是多对一的联系;
设变量的取值集合为S,如果在S上定义了一张映射表,这张映射表满足概率分布的性质,那么就称这个变量是一个定义了概率分布的随机变量;
随机变量和概率分布是完全独立的两个实体,它们独立存在不依赖于对方。但是随机变量可以服从一个概率分布,两个实体是多对一的联系;
任何实体都可以是信息:
如果给定一个实体E,如果E使得某个随机变量服从了不同的概率分布,那么就称这个实体是与这个随机变量关联的信息;
每一个概率分布表都蕴含了一个参数,这个参数称为这个概率分布的信息熵,具体见公式;
如果一个随机变量X服从的概率分布是P,如果在给出一个与X关联的信息之后,X服从了一个新的概率分布,新分布对应的信息熵与旧分布对应的信息熵的差值越大,那么这个信息包含的信息量越大。
进一步解释:
每一次测量或者试验,都会发生一系列事件,而且每个事件的发生必然存在于某一次试验。存在于不同试验的事件可以是有关联的,也可能是没有关联的。给定两次试验,如果分别位于两次试验中发生的所有事件对都是没有关联的,那么称两次试验是独立试验。
举例:
举个例子,我们想要去探讨太阳从哪个方向升起这个问题,首先必须要有一个试验:某一天;一个事件:太阳从某一方向升起;一个变量:取值东,西,南,北;一个概率分布:{东:1,西:0,南:0,北:0};
如果现在给出一个实体,一篇文章,或者一个字符串,或者一张图片,或者一次物理学实验等等任何实体,它的出现使得变量服从了另一个概率分布:{东:0.25,西:0.25,南:0.25,北:0.25},那么这个实体就是关于变量的信息,并且包含的信息量就非常大。