通用近似定理（学习笔记）

通用近似定理（学习笔记）

-----用任意深度的神经网络逼近函数，张玉宏的《深度学习之美》阅读笔记.

“通用近似定理”1989年被提出[1]，其中George Cybenko 最早提出并证明了这一定理，但是仅仅是在激活函数为 Sigmoid 函数时的特殊情况。那时，这一定理被看作是 Sigmoid 函数的特殊性质。但两年之后，Kurt Hornik 研究发现，造就通用拟合这一特性的根源并非 Sigmoid 函数，而是多层前馈神经网络这一架构本身。到2006年深度学习开始厚积薄发，但是这期间神经网络并没有因为这个理论而得到蓬勃发展。深度学习的兴起也主要只是归功于卷积神经网络的运用和GPU大规模计算能力的运用。因为机器学习深度学习在本质上就是找到个好用的函数，所以我们研究一下这个定理。

φ ( ⋅ ) φ(\cdot) φ(⋅) ：一单调递增、有界的非常数连续函数 I m Im Im： m m m维单元超立方体 (Unit hypercube) [0,1] C ( I m ) C(Im) C(Im)： I m Im Im上的连续函数的值域

对任意实数 ϵ > 0 ϵ>0 ϵ>0 与函数 f ∈ C ( I m ) f∈C(Im) f∈C(Im)（From my opinion:函数值域在预定的值域之中，任意足够小的实数误差可以被证明就说明，误差精度可以足够小），存在整数 N N N、常数 v i , b i ∈ R v_i,b_i\inℝ vi​,bi​∈R 与向量 W W W，其中向量中的权重参数 w i ∈ R ( i = 1 , … , n ) w_i \inℝ(i=1,…,n) wi​∈R(i=1,…,n)，使得我们可以定义： F ( x ) = ∑ 1 n v i φ ( w T x + b i ) F(x)=\sum ^n_1{v_iφ(w^Tx+b_i)} F(x)=∑1n​vi​φ(wTx+bi​) 为 f ( ⋅ ) f(\cdot) f(⋅) 的目标拟合实现。在这里， f ( ⋅ ) f(\cdot) f(⋅)与 φ φ φ 无关，亦即对任意 x ∈ I m x∈Im x∈Im，有： ∣ F ( x ) – f ( x ) ∣ < ϵ |F(x)–f(x)|