二分类交叉熵损失函数推导及其求导过程

假设函数 更为一般的表达式： 似然函数： 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数： 对J(w)求极小值，对求导 上述求导要用到 π(z)’ = π(z)(1-π(z)),其中π(z)为sigmoid函数（也叫logistic函数），z=w^Tx+b,我们将这些带入求导公式中运算即可得到结果。

上述中 xi,j表示第i个样本的第j个属性的取值。 于是的更新方式为：