Homework 3

Problem 1

a)

b)

c) 由 a), b) 及 易知 在 上递增， 上递减，故在 时取得唯一最大值

Problem 2

直接考虑

则

不难推知

即证

Problem 3

记 ，我们将序列 分为两类

这一部分的出现概率为

而其总数量为

根据组合数与熵的关系，可知 ，满足

因此若编码表达这些序列，只需要

个数字，这一编码量包括了一个前置的判别位（一个 0 ）

这部分出现的概率为

我们直接用长度为 的原始数据编码，并在最前面加上一个 1 作为判别

则期望意义下的总编码数为

则

这里的 可以任意小，且 随着 变小，而 项在 充分大时趋于 0，故任给 ，在 足够大时都可以设计出期望小于 的编码方式