交叉熵误差(cross entropy error)

May 5, 2025

Content #

$E=-\sum_k t_k \log y_k$

$y_k$ 是神经网络的输出， $t_k$ 是正确解标签。并且， $t_k$ 中只有正确解标签的索引为1，其他均为0（one-hot表示）。因此，上式实际上只计算对应正确解标签的输出的自然对数。

比如，假设正确解标签的索引是“2”，与之对应的神经网络的输出是0.6，则交叉熵误差是-log 0.6 =0.51；若“2”对应的输出是0.1，则交叉熵误差为-log 0.1 = 2.30。

正确解标签对应的输出越大，交叉熵的值越接近于0。

也就是说，交叉熵误差的值是由正确解标签所对应的输出结果决定的。