Content #
公平硬币出现正反面的概率是相同的。不公平硬币下面概率为0.4，反面概率为0.6。两枚硬币的KL距离为 \[0.5\cdot \log\frac{0.5}{0.4} + 0.5 \cdot \log \frac{0.5}{0.6} \approx 0.02945\]
互换公平与不公平硬币，KL距离变为 \[0.4\cdot \log\frac{0.4}{0.5} + 0.6 \cdot \log \frac{0.6}{0.5} \approx 0.02905\]
Kl距离不对称，有时会用来比较一个“真实”分布与另一分布。从信息论角度来看，假设一个消息的符号服从g分布而不是真实分布f，KL距离就表示传输或压缩这个消息时，每个符号平均需要额外增加的位数。