联合概率及其分布、边缘概率及其分布、条件概率及其分布和贝叶斯定理

假设有随机变量X与Y, 此时，P（X=a,Y=b）用于表示X=a且Y=b的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。联合概率并不是其中某个条件的成立概率， 而是所有条件同时成立的概率。 联合概率的一览表称为联合分布。

P（X=a）或P（Y=b）这类仅与单个随机变量有关的概率称为边缘概率。 边缘概率的一览表称为边缘分布。

在条件Y=b成立的情况下，X=a的概率，记作P（X=a|Y=b）或P（a|b）。 若只有两类事件X和Y，那么有 P ( X = a ∣ Y = b ) = P ( X = a , Y = b ) P ( Y = b ) \mathrm{P}(X=a | Y=b)=\frac{\mathrm{P}(X=a, Y=b)}{\mathrm{P}(Y=b)} P(X=a∣Y=b)=P(Y=b)P(X=a,Y=b)​ 条件概率的分布简称条件分布，即已知两个相关的随机变量X和Y，随机变量Y在条件{X=x}下的条件概率分布是指当已知X的取值为某个特定值x之时，Y的概率分布。

“XY的联合概率”=“X基于Y的条件概率”乘以“Y的边缘概率” 。

离散型分布下联合概率、边际概率、条件概率之间的等式关系： P ( X = x ) = ∑ y P ( X = x , Y = y ) = ∑ y P ( X = x ∣ Y = y ) P ( Y = y \begin{array}{l}{\mathrm{P}(X=x)=\sum_{y} \mathrm{P}(X=x, Y=y)=\sum_{y} \mathrm{P}(X=x | Y=y) \mathrm{P}(Y=} \\ {y}\end{array} P(X=x)=∑y​P(X=x,Y=y)=∑y​P(X=x∣Y=y)P(Y=y​ P（X=x，Y=y）为XY的联合概率，P（X=x）为X的边际概率，P（X=x|Y=y）为X基于Y的条件概率，P（Y=y）为Y的边际概率。

P X ( x ) = ∫ y P X , Y ( x , y ) d y = ∫ y P X ∣ Y ( x ∣ y ) P Y ( y ) d y P_{X}(x)=\int_{y} P_{X, Y}(x, y) \mathrm{d} y=\int_{y} P_{X|Y}(x | y) P_{Y}(y) \mathrm{d} y PX​(x)=∫y​PX,Y​(x,y)dy=∫y​PX∣Y​(x∣y)PY​(y)dy 只需要将"累加"换成"积分"，就是连续型分布下联合概率、边际概率、条件概率之间的转换计算公式。

事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P（X）。

事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。

设X和Y分别为两类不同的事件，假设X和Y是互相独立的（属性条件独立性假设），由公式 p ( X ∣ Y ) p ( Y ) = p ( X , Y ) = p ( Y ∣ X ) p ( X ) p(X | Y) p(Y)=p(X, Y)=p(Y | X) p(X) p(X∣Y)p(Y)=p(X,Y)=p(Y∣X)p(X) 我们可以得到贝叶斯公式： p ( Y ∣ X ) = p ( X ∣ Y ) p ( Y ) p ( X ) p(Y | X)=\frac{p(X | Y) p(Y)}{p(X)} p(Y∣X)=p(X)p(X∣Y)p(Y)​ 其中：

使用加法规则，则贝叶斯定理中的分母可以用出现在分子中的项表示: p ( X ) = ∑ Y p ( X ∣ Y ) p ( Y ) p(X)=\sum_{Y} p(X | Y) p(Y) p(X)=Y∑​p(X∣Y)p(Y) 我们可以把贝叶斯公式的分母p（x）看做归一化常数，来确保贝叶斯公式左侧的条件概率对于所有的Y的取值之和为1。