bp神经网络适合小样本吗,BP神经网络参考文献

谷歌人工智能写作项目：神经网络伪原创

是的文案狗。构复杂性和样本复杂性：神经网络的容量以及规模称之为神经网络的结构复杂性，样本复杂性是训练某一固定结构神经网络所需的样本数目。

样本质量是训练样本分布反映总体分布的程度，或者说由整个训练样本集提供的信息量。样本质量可以强烈地影响神经网络的泛化能力，改进训练样本质量，也是改善神经网络泛化能力的一种重要方法。

扩展资料：注意事项：由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。

对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。

参考资料来源：百度百科-神经网络结构参考资料来源：人民网-DeepMind出IQ测试题 考考神经网络有多聪明。

这个没有明确要求，样本也不是越多越好。通常情况下，你的样本可以一部分用来做验证。加速你有100个样本，90%用来做训练，10%用来做验证等，当然，有时候还得留下10%做测试用。

我个人的经验是，样本数尽量在10以上吧。

BP神经网络的训练集需要大样本吗？一般样本个数为多少？

BP神经网络样本数有什么影响学习神经网络这段时间，有一个疑问，BP神经网络中训练的次数指的网络的迭代次数，如果有a个样本,每个样本训练次数n，则网络一共迭代an次，在n>>a 情况下 ， 网络在不停的调整权值，减小误差，跟样本数似乎关系不大。

而且，a大了的话训练时间必然会变长。换一种说法，将你的数据集看成一个固定值， 那么样本集与测试集 也可以按照某种规格确定下来如7：3 所以如何看待 样本集的多少与训练结果呢？

或者说怎么使你的网络更加稳定，更加符合你的所需 。

我尝试从之前的一个例子中看下区别如何用70行Java代码实现深度神经网络算法作者其实是实现了一个BP神经网络 ，不多说，看最后的例子一个运用神经网络的例子最后我们找个简单例子来看看神经网络神奇的效果。

为了方便观察数据分布，我们选用一个二维坐标的数据，下面共有4个数据，方块代表数据的类型为1，三角代表数据的类型为0，可以看到属于方块类型的数据有（1，2）和（2，1），属于三角类型的数据有（1，1），（2，2），现在问题是需要在平面上将4个数据分成1和0两类，并以此来预测新的数据的类型。

图片描述我们可以运用逻辑回归算法来解决上面的分类问题，但是逻辑回归得到一个线性的直线做为分界线，可以看到上面的红线无论怎么摆放，总是有一个样本被错误地划分到不同类型中，所以对于上面的数据，仅仅一条直线不能很正确地划分他们的分类，如果我们运用神经网络算法，可以得到下图的分类效果，相当于多条直线求并集来划分空间，这样准确性更高。

图片描述简单粗暴，用作者的代码运行后 训练5000次 。

根据训练结果来预测一条新数据的分类（3,1）预测值 （3,1）的结果跟（1,2）（2,1）属于一类 属于正方形这时如果我们去掉 2个样本，则样本输入变成如下//设置样本数据，对应上面的4个二维坐标数据 double[][] data = new double[][]{{1,2},{2,2}}; //设置目标数据，对应4个坐标数据的分类 double[][] target = new double[][]{{1,0},{0,1}};12341234则（3,1）结果变成了三角形，如果你选前两个点 你会发现直接一条中间线就可以区分 这时候的你的结果跟之前4个点时有区别 so 你得增加样本 直到这些样本按照你所想要的方式分类 ，所以样本的多少 重要性体现在，样本得能反映所有的特征值（也就是输入值） ，样本多少或者特征（本例子指点的位置特征）决定的你的网络的训练结果，！

！！这是 我们反推出来的结果 。这里距离深度学习好像近了一步。另外，这个70行代码的神经网络没有保存你训练的网络 ，所以你每次运行都是重新训练的网络。

其实，在你训练过后 权值已经确定了下来，我们确定网络也就是根据权值，so只要把训练后的权值保存下来，将需要分类的数据按照这种权值带入网络，即可得到输出值，也就是一旦网络确定， 权值也就确定，一个输入对应一个固定的输出，不会再次改变！

个人见解。

最后附上作者的源码，作者的文章见开头链接下面的实现程序可以直接拿去使用，import .Random;public class BpDeep{ public double[][] layer;//神经网络各层节点 public double[][] layerErr;//神经网络各节点误差 public double[][][] layer_weight;//各层节点权重 public double[][][] layer_weight_delta;//各层节点权重动量 public double mobp;//动量系数 public double rate;//学习系数 public BpDeep(int[] layernum, double rate, double mobp){ = mobp; = rate; layer = new double[layernum.length][]; layerErr = new double[layernum.length][]; layer_weight = new double[layernum.length][][]; layer_weight_delta = new double[layernum.length][][]; Random random = new Random(); for(int l=0;l。

学习率是指每次训练过程中（迭代）变量改变（更新）的比率，例如x(t+1) = x(t) - a * delta其中a可以看出学习率，一般在0 - 1之间，相当于步长，而delta相当于方向。

批处理样本数量，标准的BP是单样本学习的方法，例如图片识别，第一个图是猫，然后输入图像，网络学习一次（变量更新一次），学习到图片的特征，然后再输入第二个图片狗，在前面的基础上再学习。

而批训练，就是说两个图片一起输入后，计算两个样本学习的平均的误差（Loss）, 从整体上来学习整个训练样本集合，这样的学习对于大样本数据更加有效率。

迭代次数就是学习的次数了，每次迭代就是向最优点前进的一小步，神经网络要学习到样本的特征，那就要一步一步地走，走了很多步才能到达符合精度地地点，所以需要学习很多次。

人工神经网络（artificialneuralnetwork，ANN）指由大量与自然神经系统相类似的神经元联结而成的网络，是用工程技术手段模拟生物网络结构特征和功能特征的一类人工系统。

神经网络不但具有处理数值数据的一般计算能力，而且还具有处理知识的思维、学习、记忆能力，它采用类似于“黑箱”的方法，通过学习和记忆，找出输入、输出变量之间的非线性关系（映射），在执行问题和求解时，将所获取的数据输入到已经训练好的网络，依据网络学到的知识进行网络推理，得出合理的答案与结果。

岩土工程中的许多问题是非线性问题，变量之间的关系十分复杂，很难用确切的数学、力学模型来描述。

工程现场实测数据的代表性与测点的位置、范围和手段有关，有时很难满足传统统计方法所要求的统计条件和规律，加之岩土工程信息的复杂性和不确定性，因而运用神经网络方法实现岩土工程问题的求解是合适的。

BP神经网络模型是误差反向传播（BackPagation）网络模型的简称。它由输入层、隐含层和输出层组成。

网络的学习过程就是对网络各层节点间连接权逐步修改的过程，这一过程由两部分组成：正向传播和反向传播。

正向传播是输入模式从输入层经隐含层处理传向输出层；反向传播是均方误差信息从输出层向输入层传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。

BP神经网络模型在建立及应用过程中，主要存在的不足和建议有以下四个方面：（1）对于神经网络，数据愈多，网络的训练效果愈佳，也更能反映实际。

但在实际操作中，由于条件的限制很难选取大量的样本值进行训练，样本数量偏少。（2）BP网络模型其计算速度较慢、无法表达预测量与其相关参数之间亲疏关系。

（3）以定量数据为基础建立模型，若能收集到充分资料，以定性指标（如基坑降水方式、基坑支护模式、施工工况等）和一些易获取的定量指标作为输入层，以评价等级作为输出层，这样建立的BP网络模型将更准确全面。

（4）BP人工神经网络系统具有非线性、智能的特点。

较好地考虑了定性描述和定量计算、精确逻辑分析和非确定性推理等方面，但由于样本不同，影响要素的权重不同，以及在根据先验知识和前人的经验总结对定性参数进行量化处理，必然会影响评价的客观性和准确性。

因此，在实际评价中只有根据不同的基坑施工工况、不同的周边环境条件，应不同用户的需求，选择不同的分析指标，才能满足复杂工况条件下地质环境评价的要求，取得较好的应用效果。

样本变量不需要那么多，因为神经网络的信息存储能力有限，过多的样本会造成一些有用的信息被丢弃。如果样本数量过多，应增加隐层节点数或隐层数目，才能增强学习能力。

一、隐层数一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。

一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。

对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。

因此，一般认为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络理论中再讨论之。

二、隐层节点数在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。

目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。

为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。

研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。

并非训练样本越多越好，因课题而异。 1、样本最关键在于正确性和准确性。你所选择的样本首先要能正确反映该系统过程的内在规律。

我们从生产现场采得的样本数据中有不少可能是坏样本，这样的样本会干扰你的神经网络训练。通常我们认为坏样本只是个别现象，所以我们希望通过尽可能大的样本规模来抵抗坏样本造成的负面影响。

2、其次是样本数据分布的均衡性。你所选择的样本最好能涉及到该系统过程可能发生的各种情况，这样可以极大可能的照顾到系统在各个情况下的规律特征。

通常我们对系统的内在规律不是很了解，所以我们希望通过尽可能大的样本规模来“地毯式”覆盖对象系统的方方面面。 3、再次就是样本数据的规模，也就是你要问的问题。

在确保样本数据质量和分布均衡的情况下，样本数据的规模决定你神经网络训练结果的精度。样本数据量越大，精度越高。

由于样本规模直接影响计算机的运算时间，所以在精度符合要求的情况下，我们不需要过多的样本数据，否则我们要等待很久的训练时间。

补充说明一下，不论是径向基（rbf）神经网络还是经典的bp神经网络，都只是具体的训练方法，对于足够多次的迭代，训练结果的准确度是趋于一致的，方法只影响计算的收敛速度（运算时间），和样本规模没有直接关系。

如何确定何时训练集的大小是“足够大”的？

神经网络的泛化能力主要取决于3个因素： 1.训练集的大小 2.网络的架构 3.问题的复杂程度 一旦网络的架构确定了以后，泛化能力取决于是否有充足的训练集。

合适的训练样本数量可以使用Widrow的拇指规则来估计。

拇指规则指出，为了得到一个较好的泛化能力，我们需要满足以下条件（Widrow and Stearns，1985；Haykin，2008）： N = nw / e 其中，N为训练样本数量，nw是网络中突触权重的数量，e是测试允许的网络误差。

因此，假如我们允许10%的误差，我们需要的训练样本的数量大约是网络中权重数量的10倍。

bp神经网络是有一定缺陷的，比如容易陷入局部极小值，还有训练的结果依赖初始随机权值，这就好比你下一个山坡，如果最开始的方向走错了，那么你可能永远也到不了正确的山脚。

可以说bp神经网络很难得到正确答案，也没有唯一解，有些时候只能是更多次地尝试、修改参数，这个更多依赖自己的经验，通俗点说就是“你觉得行了，那就是行了”，而不像1+1=2那样确切。

如果有耐心，确定方法没问题，那么接下来需要做的就是不停地尝试、训练，得到你想要的结果。另外，我不知道你预测的是什么，是时间序列么？比如证券？

这种预测，比较重要的就是输入参数是否合适，这个直接决定了结果精度。

样本变量不需要那么多，因为神经网络的信息存储能力有限，过多的样本会造成一些有用的信息被丢弃。如果样本数量过多，应增加隐层节点数或隐层数目，才能增强学习能力。

一、隐层数一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。

一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。

对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。

因此，一般认为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络理论中再讨论之。

二、隐层节点数在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。

目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。

为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。

研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。