核函数(Kernel function)(举例说明,通俗易懂) | 您所在的位置:网站首页 › 什么叫做积分变换 › 核函数(Kernel function)(举例说明,通俗易懂) |
已知有一组向量,可用线性函数去探索其是否具有线性关系,若数据之间是非线性呢? 非线性数据是指只有利用非线性模型才能更好的预测。但非线性问题往往不好求解,所以希望用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换,将非线性问题变换为线性问题,通过解变换后的线性问题的方法求解原来的非线性问题。原理是将数据映射到高维数据,在高维空间线性可分。如下图,从低维转换到高维, 但是有个问题,高维空间的数据计算存在困难。所以替代方案是在特征空间中计算相似度度量,而不是计算向量的坐标,然后应用只需要该度量值的算法。用点积(dot product)表示相似性度量。 1、核函数定义将原始空间中的向量作为输入向量,并返回特征空间(转换后的数据空间,可能是高维)中向量的点积的函数称为核函数。 使用内核,不需要显式地将数据嵌入到空间中,因为许多算法只需要图像向量之间的内积(内积是标量);在特征空间不需要数据的坐标。 例1:考虑一个带有特征映射的二维输入空间 特征映射二维到三维: 特征空间中的内积: 根据上面得,核函数为 但核函数只是计算映射的内积,所以映射为 怎么理解高斯核可以扩展为无限维?拿上例来说, 对于核函数一般有以下两个属性(不是所有的核函数): 对称性(symmetric) 非负性(non-negative) 补充:输入空间一般是欧式空间或离散集合;输出空间也叫希尔伯特空间 设
若对 Mercer's theorem:如果Gram矩阵是正定的,则可以计算Gram 矩阵的特征向量进行降维:
内核的每个元素都可以描述为一个函数
基函数 简单来说就是应用核技巧: 将数据映射到高维空间,然后用点积比较这些数据避免在高维空间运作,选择一个特征空间,其中点积可以使用输入空间中的非线性函数直接求值例2:假设在一维空间中有n个点(均为标量),如何利用核函数将其转到高维空间进行分类? 对于一维空间的点 上例中通过将转换函数 核函数方法的主要思想是活得一组观测数据,并将它们投影到另一空间,在这个空间中,点之间的比较是直接的。特征空间的位数可以是任意维,但可以在这个复杂的特征空间中使用简单的分类器,但要注意过拟合(特征过多会引起过拟合)。 3 构建核函数 3.1 线性核函数让转换函数 线性核函数的特征空间F的维度与输入控件 当不需要在特征空间进行运算时,可以用线性核函数。如原始数据已经是高维的、可比较的,并且在输入空间线性可分。 线性内核适用于由大量固定长度的特征表示的对象(例如字袋)。 注:一个向量代表一个样本,一个样本有多个特征 3.2 高斯核函数高斯核也叫squared exponential kernel 、SE kernel or radial basis function (RBF),形式如下:
如果 该核函数的特征空间的维度是无限的。核函数避免了转换函数的计算,所以可以用相对马氏距离计算 ,即使已经隐式地将对象投射到无限维的特征空间中。 3.3 核函数类别核函数类别(x,y表示输入空间的向量) 名称表达式参数linear kernelalpha:slope c:constant;c=0,同质多项核函数;c=1,不同质多项核函数 d≥1,多项式次数 gaussian kernelhyberbolic tangent (sigmoid)kernel 主要用于神经网络; 正常 alpha=1/N,N是数据维度;alpha>0,c |
今日新闻 |
推荐新闻 |
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 |