| 数据挖掘算法（三） | 您所在的位置：网站首页 › logistic曲线图像 › 数据挖掘算法（三） |
数据挖掘算法（三）
|
数据挖掘算法学习笔记汇总 数据挖掘算法（一）–K近邻算法 （KNN） 数据挖掘算法（二）–决策树 数据挖掘算法（三）–logistic回归 在介绍logistic回归之前先复习几个基础知识点，有助于后面的理解。 基本数学知识点 1、对数似然函数若总体X为离散型，其概率分布列为 P(X=x)=p(x,θ) 其中θ为未知参数。设 (X1,X2,...,Xn) 是取自总体样本容量为n的样本，则(X1,X2,...,Xn)的联合概率分布率为∏i=1np(xi,θ) 又设(X1,X2,...,Xn)的一组观测值为(x1,x2,...,xn)，易知样本X1,X2,...,Xn取到观测值 x1,x2,...,xn 的概率为L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi,θ)这一概率随 θ 的取值而变化，它是 θ 的函数，称 L(θ) 为样本的似然函数。但是由于来连乘的函数处理起来比较麻烦，所以对 L(θ) 取自然对数变成加法来处理要简单点。 lnL(θ)=∑i=1nlnp(xi,θ) 2、logistic函数logistic函数或logistic曲线是常见的“S”形（sigmoid curve ，S形曲线），方程式如下： f(x)=L1+e−k(x−x0) 其中 e自然对数 x0 S形中点的x值 L曲线的 最大值 k曲线的陡度
上图是L=1,k=1,x0=0时的图像
这里主要说明下这个函数的导数的性质，后面推导的时候会用到。
f(x)=11+e−x=ex1+ex
ddxf(x)=ex(1+ex)−exex(1+ex)2
ddxf(x)=ex(1+ex)2=f(x)(1−f(x))
logistic回归数学推导
先看一个简单的例子：
|
我们将平面上的点分为两类，中间的红色线条为边界。
预测类别y=1 如果−3+x1+x2≥0预测类别y=0 如果−3+x1+x2【本文地址】
公司简介
联系我们