Lecture 2 Entropy (1)

有趣的来源

熵和玻尔兹曼熵 是有关系但不应该被混淆的

Notation

• 代表样本空间（英文为 alphabet），随机变量为 ，概率密度函数为 （ 的简写）

• 熵： 也叫做

一些特殊情况

一般以 2 为底

• 可以用类似 的形式表达
• 用 表示期望，比如

Get Hands Dirty！

这里我们处理几个量之间的关系：

联合熵 Joint Entropy

分别的熵

与条件熵 Conditional Entropy

同理

性质一：直觉上熵的大小关系

不等式的加权形式告诉我们（这门课比较少用一般的期望形式），根据 的凸性，有

被称为 ，当 独立时等式成立

性质二：Chain Rule

易见

实际上就是熵让概率的积变成线性了（通过 ）

特殊情况：

1. 和 独立：
2. 是 的函数，此时知道 了 就没有 uncertainty 了，所以

定量上是因为

实际上，不难证明

4. 类似的：

也是成立的