赤池信息量准则（Akaike information criterion，AIC）是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性(Goodness of fit)的一种标准，是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。

在一般的情况下，AIC可以表示为：

AIC=2k−2ln(L)

其中：k是参数的数量，L是似然函数。

假设条件是模型的误差服从独立正态分布。设n为观察数，RSS为残差平方和，那么AIC变为：

AIC=2k+nln(RSS/n)

残差平方和（Residual Sum of Squares，即RSS），又称剩余平方和。统计学上，数据点与它在回归直线上相应位置的差异称为残差，把每个残差平方之后加起来称为残差平方和，它表示随机误差的效应。

BIC越小，模型越好。

贝叶斯信息准则，（Bayesian Information Criterion，BIC）。贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。公式为：

BIC=ln(n)k–2ln(L)

其中，k为模型参数个数，n为样本数量，L为似然函数

ln(n)k惩罚项在维数过大且训练样本数据相对较少的情况下，可以有效避免出现维度灾难现象。

与AIC相似，训练模型时，增加参数数量，也就是增加模型复杂度，会增大似然函数，但是也会导致过拟合现象，针对该问题，AIC和BIC均引入了与模型参数个数相关的惩罚项，BIC的惩罚项比AIC的大，考虑了样本数量，样本数量过多时，可有效防止模型精度过高造成的模型复杂度过高。

最优模型选择准则：AIC和BIC - 知乎 (zhihu.com)

贝叶斯信息准则_哔哩哔哩_bilibili