【史上最易懂】变分推断：从【求分布】的推断问题，变成【缩小距离】的优化问题，用简单的分布 q 去近似复杂的分布 p

学过概率论，应该了解过，概率分为 2 个学派：

频率学派：数据是客观的（看到啥就是啥，隐变量z->观察变量/输入变量x），直接求统计指标即可（似然函数），代表之作像 CNN、RNN、transformer 这类判别模型（学习类别边界）

贝叶斯学派：数据来自隐变量z（每个孩子都有一个妈， p ( z ∣ x ) = p ( x ∣ z ) p ( z ) p ( x ) p(\mathbf{z|x})=\frac{p(\mathbf{x|z})p(\mathbf{z})}{p(\mathbf{x})} p(z∣x)=p(x)p(x∣z)p(z)​），数据都有主观的先验的分布（知道先验，贝叶斯公式推导后验），代表之作像 VAE、GAN、扩散模型 这类概率生成模型（学习概率分布）

隐空间和隐变量相当于幕后的英雄，虽然不直接出现在台前，但是对整个剧情的发展起着决定性的作用。

隐空间可以理解为一种隐藏的、不直接观测到的多维空间，它包含了数据的一些内在特征或属性。这些特征不是直接在数据中展示的，但是通过学习和推断，我们可以揭示数据背后的结构。你可以把隐空间想象成一个幕后的控制室，它控制着数据表现出来的各种特性和样式。

隐变量则是隐空间中的具体坐标或者点，它们代表了数据在隐空间中的具体位置。这些变量帮助我们描述数据中不可直接观测的特性或因素。隐变量像是那些影响剧情但不直接出现的角色，虽然你看不到他们，但他们的存在通过剧情中的其他角色或事件表现出来。

隐空间是一个抽象的空间，而隐变量是在这个空间中的具体点，它们一起帮助我们探索和理解数据背后的深层次信息。

助我们捕捉数据的本质和复杂度，而不必被数据的高维表象所困扰。

把贝叶斯学派的公式展开：

p ( z ∣ x ) = p ( x ∣ z ) p ( z ) p ( x ) = p ( x ∣ z ) p ( z ) ∫ p ( z ) p ( x ∣ z ) d z p(\mathbf{z}|\mathbf{x})=\frac{p(\mathbf{x}|\mathbf{z})p(\mathbf{z})}{p(\mathbf{x})}=\frac{p(\mathbf{x}|\mathbf{z})p(\mathbf{z})}{\int p(\mathbf{z})p(\mathbf{x}|\mathbf{z})d\mathbf{z}} p(z∣x)=p(x)p(x∣z)p(z)​=∫p(z)p(x∣z)dzp(x∣z)p(z)​

按照贝叶斯展开后，分母 ∫ p ( z ) p ( x ∣ z ) d z \int p(\mathbf{z})p(\mathbf{x}|\mathbf{z})d\mathbf{z} ∫p(z)p(x∣z)dz 是一个不可积的多重积分，会让后验分布无解析解。

可以用 马尔科夫链-蒙特卡洛方法 来近似，但 马尔科夫链-蒙特卡洛方法 是基于 迭代 策略（一步步来的那种）。

变分推断另一种解法，适合深度学习这种大规模数据的计算、适合并行计算。

按照贝叶斯学派的思想，估计下图的黄色分布，那设置一个先验（有点像高斯分布），用高斯分布去套这个黄色分布：

目的是，让高斯分布尽可能的重合黄色分布。

min ⁡ θ K L ( q ( z ; θ ) ∣ ∣ p ( z ∣ x ; ϕ ) ) \min_\theta KL(q(z;\theta)||p(z|x;\phi)) minθ​KL(q(z;θ)∣∣p(z∣x;ϕ))

公式的目标是找到一个概率分布 q ( z ; θ ) q(z;\theta) q(z;θ)，使得它与给定数据 x x x 的真实概率分布 p ( z ∣ x ; ϕ ) p(z|x;\phi) p(z∣x;ϕ) 之间的差距最小。

通过调整参数 θ θ θ 的值，我们可以调整 q q q 的形状，使得它与真实概率分布更加接近。

比如上图，调整参数 θ θ θ 得到俩个高斯分布（红色、绿色），哪个高斯分布和黄色分布的 KL 散度最小，就选哪个。

变分推断步骤：

展开上面公式的 KL 散度（变成期望和log运算表示）：

K L ( q ( z ; θ ) ∥ p ( z ∣ x ) ) ] = E q ( z ; θ ) [ log ⁡ q ( z ; θ ) p ( z ∣ x ) ] \begin{gathered}KL(q(z;\theta)\|p(z|x))]\\=\quad E_{q(z;\theta)}[\log\frac{q(z;\theta)}{p(z|x)}]\end{gathered} KL(q(z;θ)∥p(z∣x))]=Eq(z;θ)​[logp(z∣x)q(z;θ)​]​

K L ( q ( z ; θ ) ∥ p ( z ∣ x ) ) ] = E q [ log ⁡ q ( z ) p ( z ∣ x ) ] = E q [ log ⁡ q ( z ) − log ⁡ p ( z ∣ x ) ] = E q [ log ⁡ q ( z ) − log ⁡ p ( x ∣ z ) p ( z ) p ( x ) ] = E q [ log ⁡ q ( x ) ] − E q [ log ⁡ p ( x ∣ z ) ] − E q [ log ⁡ p ( z ) ] + E q [ log ⁡ p ( x ) ] = − E q [ log ⁡ p ( x ∣ z ) ] + K L ( q ( z ) ∣ ∣ p ( z ) ) + E q [ log ⁡ p ( x ) ] \begin{aligned} &\begin{aligned}KL(q(z;\theta)\|p(z|x))]\end{aligned} \\ &= \begin{aligned}E_q[\log\frac{q(z)}{p(z|x)}]\end{aligned} \\ &= \begin{aligned}E_q[\log q(z)-\log p(z|x)]\end{aligned} \\ &= E_q[\log q(z)-\log\frac{p(x|z)p(z)}{p(x)}] \\ &= E_q[\log q(x)]-E_q[\log p(x|z)]-E_q[\log p(z)]+E_q[\log p(x)] \\ &= \begin{aligned}-E_q[\log p(x|z)]+KL(q(z)||p(z))+E_q[\log p(x)]\end{aligned} \end{aligned} ​KL(q(z;θ)∥p(z∣x))]​=Eq​[logp(z∣x)q(z)​]​=Eq​[logq(z)−logp(z∣x)]​=Eq​[logq(z)−logp(x)p(x∣z)p(z)​]=Eq​[logq(x)]−Eq​[logp(x∣z)]−Eq​[logp(z)]+Eq​[logp(x)]=−Eq​[logp(x∣z)]+KL(q(z)∣∣p(z))+Eq​[logp(x)]​​

第二行：将 KL 散度的定义展开为期望值的形式， E q E_q Eq​ 表示在 q ( z ; θ ) q(z;\theta) q(z;θ) 的概率分布下对其进行期望值的计算

第三行：除法变成减法形式

第四行： p ( z ∣ x ) p(\mathbf{z}|\mathbf{x}) p(z∣x) 替换后验公式 p ( x ∣ z ) p ( z ) p ( x ) \frac{p(x|z)p(z)}{p(x)} p(x)p(x∣z)p(z)​

第五行：log运算展开后验公式，再把中括号外面的 E 放进来了

第六行：合并 log ⁡ q ( x ) 、 log ⁡ p ( z ) \log q(x)、\log p(z) logq(x)、logp(z) 变成 KL 散度形式， log ⁡ p ( x ) \log p(x) logp(x) 是一个常数

常数前面的 − E q [ log ⁡ p ( x ∣ z ) ] + K L ( q ( z ) ∣ ∣ p ( z ) ) -E_q[\log p(x|z)]+KL(q(z)||p(z)) −Eq​[logp(x∣z)]+KL(q(z)∣∣p(z)) 是证据下界

最小化 -证据下界，等于最大化证据下界，因为前面有一个负号：

arg ⁡ min ⁡ K L ( q ( z ; θ ) ∣ ∣ p ( z ∣ x ) ) ] = arg ⁡ max ⁡ − E q [ log ⁡ p ( x ∣ z ) ] + K L ( q ( z ) ∣ ∣ p ( z ) ) = arg ⁡ max ⁡ E q [ log ⁡ p ( x ∣ z ) ] − K L ( q ( z ) ∣ ∣ p ( z ) ) \begin{array}{ll}&\arg\min KL(q(z;\theta)||p(z|x))]\\=&\arg\max -E_q[\log p(x|z)]+KL(q(z)||p(z))\\=&\arg\max E_q[\log p(x|z)]-KL(q(z)||p(z))\end{array} ==​argminKL(q(z;θ)∣∣p(z∣x))]argmax−Eq​[logp(x∣z)]+KL(q(z)∣∣p(z))argmaxEq​[logp(x∣z)]−KL(q(z)∣∣p(z))​

最终推断结果，告诉我们，可以通过最大化证据下界来近似地学习模型的参数。

通过优化证据下界，我们可以找到一个概率分布 q ( z ; θ ) q(z;\theta) q(z;θ)，使得ta能最好地解释观测数据，并且与真实潜在变量的分布尽量接近。