神经网络算法详解 01：人工神经网络基础

本文介绍了人工智能的发展历史，基本概念，应用领域；神经元模型，神经元的学习规则以及神经网络工作原理。本系列文章来自阿里云大学人工智能学习路线中的《神经网络概览及神经网络算法详解》课程。

【智能（Intelligence）】是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。

通常认为智能包含以下方面的能力：

【人工智能（Artificial Intelligence，AI）】 最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事准理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。

由于研究的出发点、方法学以及应用领域的不同，有多个代表性的流派：

萌芽期（？-1949）

第一高潮期（1950-1968）

反思期（1969-1981）

第二高潮期（1982-90年代）．

新时期（90年代至今）

生物神经元的信息的产生、传递和处理是一种电化学活动，其机制为：

神经元特点：

M-P模型：是把神经元视为二值开关元件，按照不同方式组合来完成各种逻辑运算。能够构成逻辑与、非、或，理论上可以进而组成任意复杂的逻辑关系，若将M-P模型按一定方式组织起来，可以构成具有逻辑功能的神经网络。

激活函数 (Activation Function)：也叫连接函数、传递函数、变换函数或者激励函数。用来模拟神经元输出与具激活状态之间的联系：输入达到某个阈值后达到激活状态，否则为抑制态。不同的激活函数，会使神经元具有不同的信息处理特性。**对于神经网络来讲，激活函数的主要作用就是进行线性变换，增加系统的非线性表达能力。**常见的激活函数有：

可分为层次结构和互连结构。

可分为前馈性网络和反馈性网络

前馈神经网络（Feed Forward NN）是一种最简单的神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。

前馈网络包括三类节点：

输入层和输出层必须有，隐藏层可以没有，即为单层感知器，隐藏层也可以不止一层，有隐藏层的前馈网络即多层感知器。

反馈神经网络（Feed Back NN）：又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有HopfieId神经网络、Elman神经网络、Boltzmann机等。

学习：通过训练使个体在行为上产生较为持久改变的过程，一般来说效果随着训练了的增加而提高，即通过学习获得进步。

人工神经网络的功能由其连接的拓扑结构和网络的连接仅值决定，其全体的权值 w w w 整体反映了神经网络对于所解决问题的知识存储。即一旦拓扑结构和权值确定，该网络可以应用于新的数据得到结果。

人工神经网络的学习：通过对样本的学习训练，不断改变网络的拓扑结构及连接权值，使得输出不断的接近期望输出值。

通过训练改变权值的规则被称为学习算法或者学习规则，有时也称作训练规则或者训练算法，学习规则对人工神经网络非常重要。

按照一般的分类标准，通常分为三类：

有监督学习：学习模式为纠错 不断的给网络提供一个输入即其期望的正确输出（称教师信号），将ANN的实际输出和期望输出作比较，不符时，按照一定规则调整权值参数，重新计算、比较，直到网络对于给定的输入均能产生期望的输出。则认为该网络训练完成，即已学会样本数据中的知识和规则。即可用于解决实际问题。

无监督学习：学习模式为自组织 学习时不断给网络提供动态输入信息，网络根据特有的内部结构和学习规则，在输入信息流中发现可能的模式和规律，同时根据网络功能和输入信息调整仅值（自组织）。使网络能对属于同一类的模式进行自动分类。该模式网络权值的调整不取决于教师信号，网络的学习评价标准隐含于网络内部。

D o n a l d   O .   H e b b Donald \ O. \ Hebb Donald O. Hebb 赫布法则（Heb’s rule）：在《The Organization of Behavior》书中解释了学习过程中大脑中的神经细胞是如何改变和调整的，认为知识和学习发生在大脑主要是通过神经元间突触的形成与变化。当细胞A的轴突足以接近激发细胞B，并反复持续地对细胞B放电，一些生长过程或代谢变化将发生在某一个或这两个细胞内，以致A作为对B放电的细胞中的一个效率增加。通俗来讲就是两个神经细胞交流越多，它们连接的效率就越高，反之就越低。

McCulloch-Pitts模型缺乏一个对人工智能而言至关重要的学习机制，M-P模型很好的简化、模拟了神经元，但是无法通过学习的方式调整、优化权重，形成有效的模型。赫布法则的出现，成为神经模型训练（学习机制）的基础性工作。

И в а н   П е т р о в и ч   П а в л о в Иван \ Петрович \ Павлов Иван Петрович Павлов 巴浦洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物朕系起来。以后如果铃响但是不给食物，狗也会流口水。

受此实验启发，Hebb的理论认为在同一时间被激发的神经元间的朕系会被强化。例如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系会被强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们之间的朕系将会越来越弱。

赫布规则被作为无监督神经网络的学习规则，广泛应用于自组织神经网络、竞争网络中。

赫布学习规则的步骤：

带入第一个样本更新权重： 带入第二个样本更新权重： 带入第三个样本更新权重：

**感知器（Perceptron）**是由Rosenblatt定义的具有单层神经计算单元的神经网络结构。实际上为一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递，其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数（激活函数）决定其输出。

离散感知器学习规则代表一种有导师的学习方式，其规定将神经元期望输出（教师信号）与实际输出之差作为学习信号，通过训练调整权值，直到实际输出满足要求（等于或者接近于期望输出）。 离散感知器学习规则的步骤：

验证：

M c C l e l l a n d McClelland McClelland DeIta习规则（ δ \delta δ LearningRule)：1986年，由认知心理学家McCIeIIand和RumeIIhart在神经网络训练中引入了学习规则。一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权。

Delta学习规则的思路如下：系统首先用一个输入向量，输入网络结构，得到一个输出向量；每个输入向量都有一个对应的期望输出向量、或者称作是目标向量；比较实际输出向量与期望输出向量的差别，若没有差别，就不再继续学习；否则，连接的权重修改对应的差值（delta差）。

损失函数（Loss Function）：用于衡量最优的策略，通常是一个非负实值函数。机器学习试图通过不断的学习，建立一个可以很好预测现实结果的模型，损失函数则是用来衡量预测结果和真实结果之间的差距，其值越小，代表预测结果和真实结果越一致。损失函数越合适，通韋模型的性能越好。通过各种方式缩小损失函数的过程被称作优化·损失函数记做 L ( Y , f ( x ) ) L(Y,f(x)) L(Y,f(x))。

0-1损失函数（0-1 LF）：预测值和实际值精确相等则“没有损失”，为0，否则意味着“完全损失”，为1，预测值和实际值精确相等有些过于严格，可以采用两者的差小于某个阈值的方式：

绝对值损失函数（AbsoIuteLF）：预测结果与真实结果差的绝对值。简单易懂，但是计算不方便。 L ( Y , f ( x ) ) = ∣ Y − f ( X ) ∣ L(Y,f(x)) = |Y - f(X)| L(Y,f(x))=∣Y−f(X)∣ 平方损失函数（Quadratic LF）：预测结果与真实结果差的平方。 L ( Y , f ( x ) ) = ( Y − f ( X ) ) 2 L(Y,f(x)) = (Y - f(X))^2 L(Y,f(x))=(Y−f(X))2

平方损失函数优势有：

对数损失函数（Logarithmic LF） 或对数似然损失函数(log-likehood loss function)对数函数具有单调性，在求最优化问题时，结果与原始目标一致。可将乘法转化为加法，简化计算。 L ( Y , P ( Y ∣ X ) ) = − l o g P ( Y ∣ X ) L(Y,P(Y|X)) = -logP(Y|X) L(Y,P(Y∣X))=−logP(Y∣X) 指数损失函数（ExponentiaI LF） 或对数似然损失函数(likehood loss function)：单调性、非负性的优良性质，使得越接近正确结果误差越小。 L ( Y , f ( x ) ) = e − Y ∗ f ( X ) L(Y,f(x)) = e^{-Y*f(X)} L(Y,f(x))=e−Y∗f(X)

折叶掼失函数（HingeLF）：也称铰链损失，对于判定边界附近的点的惩罚力度较高，常见于SVM。 L ( f ( x ) ) = m a x ( 0 , 1 − f ( x ) ) L(f(x)) = max(0,1-f(x)) L(f(x))=max(0,1−f(x))

不同的损失函数有不同的持点，适用于不同的场景：

竞争学习（Competition Learning） 是人工神经网络的一种学习方式，指网络单元群体中所有单元相互竟争对外界刺激模式响应的权利。竟争取胜的单元的连接权重向着对这一刺激有利的方向变化，相对来说竟争取胜的单元抑制了竟争失败单元对刺激模式的响应。属于自适应学习，使网络单元具有选择接受外界刺激模式的特性。竟争学习的更一般形式是不仅允许单个胜者出现，而是允许多个胜者出现，学习 发生在胜者集合中各单元的连接权重上。

胜者为王学习规则（Winner-Take-All）。无导师学习，将网络的某一层设置为竞争层，对于输入 X X X 竞争层的所有 p p p 个神经元均有输出响应，响应值最大的神经元在竟争中获胜，即： W m T X = m a x i = 1 , 2 , . . . p ( W i T X ) W^T_mX = max_{i=1,2,...p}(W^T_iX) WmT​X=maxi=1,2,...p​(WiT​X)。获胜的神经元才有权调整其权向量 W m Wm Wm，调整量为： δ W m = a ( X − W m ) ， α ∈ （ 0 ， 1 ] \delta W_m =a(X - W_m)，\alpha \in（0，1] δWm​=a(X−Wm​)，α∈（0，1] 随着学习而减小。

在竞争学习过程中，竞争层的各神经元所对应的权向量逐渐调整为输入样本空间的聚类中心。

在实际应用中通常会定义以获胜神经元为中心的邻域，所在邻域内的所有神经元都进行权重调整。

内星节点：总是接收其他神经元输入的加权信号，是信号的汇聚点，其对应的权值向量称作内星权向量。 外星节点：总是向其他神经元输出加权信号，是信号的发散点，其对应的权值向量称作外星权向量。 两者的更新规则：

课程链接：https://edu.aliyun.com/course/1923