贝叶斯定理三要素

贝叶斯定理三要素

Content #

贝叶斯定理可以准确地量化所观察到的数据改变我们信念的概率。这也就是。简单来说,我们想量化的是:在所观察到的数据下,自己对信念的坚信程度。在贝叶斯公式中,这个要素的术语是后验概率(posterior probability,简称为“后验”),也就是将通过贝叶斯定理所求出的解P(H|D)。

为了得到后验概率,还需要用到下一个要素:似然(likelihood)。它表示在给定信念的情况下,观察到某一数据的概率,也就是P(D|H)。

最后,需要量化初始信念的概率,即P(H)。这一要素在贝叶斯定理中被称为先验概率(prior probability,简称为“先验”),它表示我们在看到数据之前的信念强度。似然和先验结合在一起就会形成后验。

通常情况下,我们需要使用数据的概率P(D)对后验归一化,从而使其值介于0和1 之间。然而在实践中并不总是需要P(D),所以这个值没有特殊的名字。

我们将信念称为假设H,并用变量D来表示数据。 \[P(H|D)=\frac{P(H)\cdot P(D|H)}{P(D)}\]

显然,数据本身或者说数据的概率P(D)没有出现在三要素中,因为如果只关注信念的比较,通常并不需要在分析中用到它。

\[\frac{P(H_1|D)}{P(H_2|D)}=\frac{P(H_1)\cdot P(D|H_1)}{P(H_2)\cdot P(D|H_2)}\]

或者写成: \[P(H|D) \propto P(H)\cdot P(D|H)\]

From #