贝叶斯定理，先验信念，似然，后验概率

贝叶斯定理形式如下：

P ( H ∣ D ) = P ( H ) ⋅ P ( D ∣ H ) P ( D ) P(H|D) = \frac{P(H) \cdot P(D|H)}{P(D)} P(H∣D)=P(D)P(H)⋅P(D∣H)​

回顾一下，这个公式包含 3 个有特殊名称的要素：

最后一部分 P ( D ) P(D) P(D) 是独立于假设的、所观察数据的概率。我们需要 P ( D ) P(D) P(D)，以确保后验概率的取值位于 0 和 1 之间。如果掌握了以上这些信息，我们就可以准确地计算在给定观察数据的情况下，自己对假设的相信程度。

然而，通常情况下很难准确地定义 P ( D ) P(D) P(D)。因此，我们经常使用贝叶斯定理的比例形式，它允许我们在不知道 P ( D ) P(D) P(D) 的情况下分析假设的可靠程度。它的比例形式如下： P ( H ∣ D ) ∝ P ( H ) ⋅ P ( D ∣ H ) P(H|D) \propto P(H) \cdot P(D|H) P(H∣D)∝P(H)⋅P(D∣H) 简单来说，比例形式的贝叶斯定理告诉我们，假设的后验概率与先验概率和似然的乘积成正比。我们可以利用这一点来比较两个假设，即通过用先验概率乘以似然得出两个假设后验概率的比值： P ( H 1 ) ⋅ P ( D ∣ H 1 ) P ( H 2 ) ⋅ P ( D ∣ H 2 ) \frac{P(H_1) \cdot P(D|H_1)}{P(H_2) \cdot P(D|H_2)} P(H2​)⋅P(D∣H2​)P(H1​)⋅P(D∣H1​)​

现在得到的是，每个假设解释所观察数据能力的比值。也就是说，如果这个比值是2，那么 H 1 H_1 H1​对所观察数据的解释能力是 H 2 H_2 H2​的两倍；如果比值是 1 2 \frac{1}{2} 21​,那么 H 2 H_2 H2​对所观察数据的解释能力是 H 1 H_1 H1​的两倍。

###备注：摘自《趣学贝叶斯统计》