深度学习（二）~常用神经网络结构

特点： 每一层神经元接收前一层神经元的输出，相当于有向无环图 实现方式：前馈网络包括全连接前馈网络和卷积神经网络

**特点：**每一层是全连接层—即每一层的每个神经元与上一层所有神经元都有连接； 作用： **a. ** 多个全连接层可以从不同角度提取特征； **b. ** 全连接层作为输出层有分类和数值预测的功能；也经常用于卷积神经网络。 **缺点：**权重多，计算量大。 **应用：**所有的神经网络均可以利用

【卷积神经网络的层级结构】

数据输入层 卷积层： 每个神经元看做一个滤波器(filter)，每个滤波器只关注一个特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合　　 ReLU激励层： 非线性映射 池化层： 池化层夹在连续的卷积层中间， 用于压缩数据和参数的量如压缩图像，减小过拟合 全连接层： 对空间排列的特征化成一维的向量

优点： 共享卷积核，对高维数据处理无压力 缺点： 难解释（我们并不知道没个卷积层到底提取到的是什么特征，而且神经网络本身就是一种难以解释的“黑箱模型”） 应用： 人脸识别、图像识别

**特点：**对前期学习的信息有记忆功能，可用有向循环图或无向图表示 **实现方式：**记忆网络包括循环神经网络、玻尔兹曼机、受限玻尔兹曼机等 **应用：**常用于文本填充、时间序列、语音识别等序列数据

RNN的训练算法为：BPTT 【BPTT的基本原理】 a. 前向计算每个神经元的输出值； b. 反向计算每个神经元的误差项值； c. 计算每个权重的梯度。 d. 最后再用随机梯度下降算法更新权重

与传统的循环神经网络相比，LSTM采用三门机制，输入门、遗忘门以及输出门和一个内部记忆单元。 输入门： 决定从当前步骤添加哪些信息 遗忘门： 控制前一步记忆单元中的信息有多大程度被遗忘掉 输出门： 决定下一个隐藏状态应该是什么

GRU是在LSTM上进行简化而得到的，只有两个门，分别为更新门和重置门 重置门： 候选隐含状态使用了重置门来控制过去有多少信息被遗忘 更新门： 控制过去的隐含状态在当前时刻的重要性

特点： 可有向可无向，前馈网络与记忆网络的输入为向量或向量序列，图网络的输入为图结构数据如知识图谱、社交网络、分子网络等

实现方式： 图网络包括图卷积网络、图注意力网络、消息传递神经网络

**总结：**每一种神经网络各有优点，在具体的场景中，根据不用的应用选择不同的网络，也可能会同时用到三种网络搭建更复杂的网络。