第二次作业 140705010027 吴蓉

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H（x）<=log₂M。

因为所有概率分布P所构成的熵，
在等概率时为最大且为     Hmax(X)=log2M
所以    H(X)<=log2M.
因为x为一个随机变量，出现的概率为P（X）.
根据概率的公理化定义有:    0<=P(X)<=1
已知 H(X)=-E P(X)*logP(X)则H(X)>=0
所以 0<=H(X)<=log2^M

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

证： 由于H(x)=lim_n→∞(1/n*G_n)，则

Gn=-Σ_i=n ......Σ_i=1 P(A_i) logP(x1=i1,x2=i2,...,xn=in) * log(x1=i1,x2=i2,...,xn=in)

当该序列为iid分布时，得

G_n=-nΣ_i=1P(x1=i1) logP(x1=i1)

所以H(x)=-ΣP(x1) logP(x1) 为一阶熵

3.给定符号集A={a₁,a₂,a₃,a₄}，求以下条件下的一阶熵：

（a） P（a₁）= P（a₂）= P（a₃）= P（a₄）=1/4

解： H(a)=-4×1/4 log(1/4)=-log(1/4)=-(-2)

H(a)=2 bit/字符

（b） P（a₁）=1/2, P（a₂）=1/4, P（a₃）= P（a₄）=1/8

解：H=-∑p(ai)logp(ai)=-1/2*log1/2-1/4*log1/4-2*1/8*log1/8

H=7/4=1.75 bit/字符

（c） P（a₁）=0.505, P（a₂）=1/4, P（a₃）=1/8, P（a₄）=0.12

解：H=-∑p(ai)logp(ai)=-0.505*log0.505-1/4*log1/4-1/8*log1/8-0.12*log0.12

H=1.135 bit/字符