第二次作业 140705010027 李蓥

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证：0≤ H(X)

因为 H(X)=∑P(Xi)M(Xi) (i=1....M)

P(Xi)≥0

所以 0≤ H(X)

证：H(X)≤log2M

因为 H(x)=-∑P(Xi)log2P(Xi) (i=1....M)

0≤P(Xi)≤1

所以H(X)≤log2

综上所述：0≤H(X)≤log₂M

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

证：由香农证明的：对于一个平稳的信源，在极限的情况下，这个值将收敛于熵

H（s）=lim 1/n h2

如果观察到一个序列的元素为idd发布，则

Gn=-nΣp（x1=i1）logp（x1=i1）

熵就是：H(S)=-ΣP(X1)logp（x1）

而一阶熵为H=∑P(Xi)i(Xi)=-∑p(Xi)㏒p(Xi)

所以H=H(s)

所以如果观察到一个序列的元素为idd发布，则该序列的熵等于一阶熵

3、给定符号集A={a₁,a₂,a₃,a₄},球以下条件的一阶熵：

（a)P(a₁)=p(a₂)=p(a₃)=p(a₄)=1/4

解：H(x)=-∑p_i*log pi=-4*1/4*log1/4=2 bit/字符

(b)p(a₁)=1/2,p(a₂)=1/4,p(a₃)=p(a₄)=1/8

解：H(x)=-(1/2*log1/2+1/4*log1/4+2*1/8*log1/8)=1/2+1/2+3/4=7/4=1.75 bit/字符

(c)p(a₁)=0.505,p(a₂)=1/4,p(a₃)=1/8,p(a₄)=0.12

时间： 2024-10-29 09:51:56

第二次作业 140705010027 李蓥的相关文章

第三次作业 140705010030 李蓥

2.(a) 答: 图像名称压缩前压缩后压缩比 Sena 64kb 56.1kb 0.88 Sensin 64kb 60.2kb 0.94 Omaha 64kb 57.0kb 0.89 4.(a) H=-P(a1)*log2* P(a1)- P(a2)*log2* P(a2)-P(a3)*log2* P(a3)-P(a4)*log2* P(a4)-P(a5)*log2* P(a5) =-0.15* log2*0.15-0.04* log2*0.04-0.26* log2*0.26-0.05

第二次作业 140705010027 吴蓉

1.设X是一个随机变量,取值范围是一个包含M个字母的符号集.证明0<=H(x)<=log2M. 因为所有概率分布P所构成的熵,在等概率时为最大且为 Hmax(X)=log2M所以 H(X)<=log2M.因为x为一个随机变量,出现的概率为P(X).根据概率的公理化定义有: 0<=P(X)<=1已知 H(X)=-E P(X)*logP(X)则H(X)>=0所以 0<=H(X)<=log2M 2.证明如果观察到一个序列的元素为iid分布,则该

【助教】第二次作业成绩

1.代码的提交规范依然有人不遵守: 1班: 19陈俊金 http://www.cnblogs.com/cjj19/ 20李新 http://www.cnblogs.com/lixin20/ 21林德麟 http://www.cnblogs.com/l201306114321/ 下次如果还有不按照规范的童鞋,一律0分处理 2.有些人至今没有提交过作业: 二班: 201306000000 杨洁华 www.cnblogs.com/wutong2515/ 20130611

解题报告——2018级2016第二学期第二周作业

解题报告——2018级2016第二学期第二周作业 D:迷宫问题题目描述: 定义一个二维数组: int maze[5][5] = { 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, 0, 1, 0, }; 它表示一个迷宫,其中的1表示墙壁,0表示可以走的路,只能横着走或竖着走,不能斜着走,要求编程序找出从左上角到右下角的最短路线. 输入一个5 × 5的二维数组,表示一个迷宫.数据保证有唯一解. 输出左上角到右

马哥linux 培训第二周作业

注意:第二周作业,请将以下题目整理在51cto博客当中,完成后请将对应的博文链接地址提交在答案栏中,提交格式如下:学号+姓名+博文链接地址eg:1+张三+http://mageedu.blog.51cto.com/4265610/1794420 本周作业内容:1.Linux上的文件管理类命令都有哪些,其常用的使用方法及其相关示例演示. 文件管理的命令有cp.mv.rm 复制命令:cp 用法: cp [-adfilprsu] 来源文件(source) 目标文件(destination) cp [o

第二次作业孙榜婷

2.9 设有如下语句,请用相应的谓词公式分别把它们表示出来: (1) 有的人喜欢梅花,有的人喜欢菊花,有的人既喜欢梅花又喜欢菊花 . 解:定义谓词 P(x):x是人 L(x,y):x喜欢y 其中,y的个体域是{梅花,菊花}. 将知识用谓词表示为: (∃x )(P(x)→L(x, 梅花)∨L(x, 菊花)∨L(x, 梅花)∧L(x, 菊花)) (2) 有人每天下午都去打篮解:定义谓词 P(x):x是人 B(x):x打篮球 A(y):y是下午将知识用谓词表示为: (∃x )(∀y) (A(y)→

牛老师第二次作业

namespace 第二次作业{ class RandomNumber { public int Add(int x, int y) { return x + y; } public int Sub(int x, int y) { return x - y; } public int Mul(int x, int y) {

Linux+Python高端运维班第二次作业

Linux+Python高端运维班第二次作业 1.列出当前系统上所有已经登录的用户的用户名,注意:同一个用户登录多次,则只显示一次即可. [[email protected] ~]# who |cut -d" " -f1|uniq (unknown) root test1 [[email protected] ~]# who |cut -d" " -f1|sort -u root (unknown) wangyanglin 2.取出当前系统上被用户当作其默认shel

第二周作业补交（请老师看一下）

#include<stdio.h> #include<math.h> int main(void) { int money,year; double rate,sum; printf("Enter money:"); scanf("%d",&money); printf("Enter year:"); scanf("%d",&year); printf("Enter rate: