信息论学习

信息论与编码

Information Theory and coding

1.简介

以概率论为基础，注重概念理解，不过分追求数学推导

信息论创始人（C.E.Shannon）香农，美国科学家，发表《通信的数学理论》

2.信息 信号 消息

通信系统中传输的是信号，信号是消息的载体，消息中的未知成分是信息。

3.事件发生的概率越小，事件的信息量越大（未知部分越多）。

消息的随机性越大，含有的信息量越大。

两个消息间的依赖程度越大，互信息量越大。

 4.调制方式有幅度键控ASK、频移键控FSK、相移键控PSK

5 信息论研究对象和内容 

研究对象：消息传输系统即信息传输系统，通信系统。

 研究目的：提高通信系统的可靠性和有效性。

注：可靠：信号不失真   有效：快速，占用资源少

6 信息的度量

       6.1 自信息量和条件自信息量

       1.不确定度与信源概率空间的状态数及其概率分布有关。

2.等概分布时不确定度最大

3.任意随机事件的自信息量定义为该事件发生概率的对数的负值                                                             2016-05-29。

6.2