克里金(kriging)模型的推导详解 |
您所在的位置:网站首页 › 无偏估计有什么意义 › 克里金(kriging)模型的推导详解 |
Kriging模型理论推导
1、前言2、条件3、基础知识3.1、方差的理解3.2、概率密度函数3.3、多元正态分布
4、理论推导4.1 模型建立4.2 模型预测
1、前言
简介:Kriging模型是一种通过已知试验点信息来预测未知试验点上响应的无偏估计模型,其最早是由南非矿业工程师D.G.Krige于1951年提出。20世纪70年代,法国的数学家G.Matheron对D.G.Krige的研宄成果进行了进一步的系统化、理论化,并将其命名为Kriging模型。1989年Sacks等将Kriging模型推广至试验设计领域,形成了基于计算机仿真和Kriging模型的计算机试验设计与分析方法。 本文将从原理部分,解析Kriging模型的推导过程。本次克里金模型的推导的参考文献为: A Taxonomy of Global Optimization Methods Based on Response Surfaces。 2、条件克里金模型在应用时有如下假设条件: (1)、克里金法假设所有数据之间都服从n维的正态分布。 (2)、无偏。 3、基础知识在推导克里金模型之前,先来回顾一些统计学的基础知识,各位功底深厚的看客老爷可以直接跳过。 3.1、方差的理解概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。机器学习中方差又可以理解为不确定性的一种,即方差越大,不确定性越大。 3.2、概率密度函数在数学中,连续型随机变量的概率密度函数是描述这个随机变量的输出值,在某个确定的取值点附近的可能性的函数。而随机变量的取值落在某个区域之内的概率则为概率密度函数在这个区域上的积分。当概率密度函数存在的时候,累积分布函数是概率密度函数的积分。 3.3、多元正态分布平常我们见的最多的正态分布大多是是一维的,其的概率密度函数(Probability density function,PDF)如下: 已知给定了一些标记过的数据集X = { x1,x2,…,xn },其对应的目标函数值为y = { y1,y2,…,yn } ,注意,其中的 x1 是一个长度为 n 的向量,y1 = Y(x1) 。我们的目标就是想通过这些已知的点,来实现对未知点的预测。 首先,克里金模型假设所有数据服从均值为μ方差为σ2的n元的正态分布,也就是说这个n元正态分布函数的均值可以认为是在[ μ-3σ, μ+3σ ]的范围内变化(论文原话,实际上刻画的是不确定性)。现在我们考虑两个点 xi 和 xj ,在我们采样之前,是不确定这两个点的目标函数值的,然而,我们假设建模所用的函数是连续的,当距离 || xi-xj || 比较小时,y(xi)和y(xj)也倾向于高度相关。我们可以通过下面的式子来衡量相关性:
下面分别对均值μ、和方差σ2求偏导,即可得到使似然函数最大的均值和方差了,得到结果如下: 在4.1中,我们对已知得数据点进行了最大似然估计,得到一些先验超参数,预测就是利用4.1得到得超参数来对未知数据点进行预测。这里考虑一个点
y
~
\widetilde{y}
y
,我们将观察到的数据和要预测的点放到一起
y
~
\widetilde{y}
y
=(y’,y*)T ,则对应的协方差矩阵也发生了改变: 下面要做的是如何把中间的逆矩阵表示出来,这里作者用了部分求逆的方法,直接上结果如下:
R
~
\widetilde{R}
R
-1 =
本文参考: (1) https://zhuanlan.zhihu.com/p/90272131 (2) 文献:A Taxonomy of Global Optimization Methods Based on Response Surfaces |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |