《信息论与编码》课后习题解答

《信息论与编码》课后习题解答

2.2 假设一副充分洗乱了的扑克牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：

(1) 52张牌共有52！种排列方式，任一特定的排序方式是等概率出现的，则所给出的信息量是：

p(xi)1 52!I(xi)logp(xi)log52!225.581 bit

(2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下：

413p(xi)13C52413I(xi)logp(xi)log1313.208 bitC52

2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设随机变量X代表女孩子学历，则是大学生的概率为P(x)1 =0.25，不是大学生的概率为P(x)2 =0.75。

设随机变量Y代表女孩子身高,则身高大于160cm和小于160cm的概率分别为P(y1)=0.5、P(y2)=0.5

又有已知：在女大学生中有75%是身高160厘米以上的， 即：p(y1/x1)0.75 bit

所以身高160厘米以上的某女孩是大学生的信息量 即

：

I(x1/y1)logp(x1/y1)logp(x1)p(y1/x1)0.250.75log1.415 bit

p(y1)0.5Xx10x21x32x432.4 设离散无记忆信源，其发出的信息3/8P(X)1/41/41/8为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？ 解：

(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：

311p

848142561 / 3

真诚为您提供优质参考资料，若有不当之处，请指正。

此消息的信息量是：Ilogp87.811 bit

(2) 此消息中平均每符号携带的信息量是：I/n87.811/451.951 bit

2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解： 男士：

p(xY)7%I(xY)logp(xY)log0.073.837 bitp(xN)93%I(xN)logp(xN)log0.930.105 bitH(X)p(xi)logp(xi)(0.07log0.070.93log0.93)0.366 bit/symboli2

女士：

H(X)p(xi)logp(xi)(0.005log0.0050.995log0.995)0.045 bit/symboli2

2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； 解： (1)

11111p(xi)666618I(xi)logp(xi)log(2)

14.170 bit18

111p(xi)6636I(xi)logp(xi)log(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24

15.170 bit36

15 25 16 26

2 / 3

真诚为您提供优质参考资料，若有不当之处，请指正。

31 41 51 61 32 42 52 62 33 43 53 63 34 44 35 45 55 65 36 46 56 66

共有21种组合：

其中11，22，33，44，55，66的概率是其他15个组合的概率是2111 6636111 66181111H(X)p(xi)logp(xi)6log15log4.337 bit/symbol36181836i

3 / 3