卷积神经网络训练三个概念(epoch,迭代次数,batchsize) | 您所在的位置:网站首页 › 下一次啥意思 › 卷积神经网络训练三个概念(epoch,迭代次数,batchsize) |
总结下训练神经网络中最最基础的三个概念:Epoch, Batch, Iteration。 1. 名词解释epoch:训练时,所有训练数据集都训练过一次。 batch_size:在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目,通常设为2的n次幂,常用的包括64,128,256。 网络较小时选用256,较大时选用64。 iteration:训练时,1个batch训练图像通过网络训练一次(一次前向传播+一次后向传播),每迭代一次权重更新一次;测试时,1个batch测试图像通过网络一次(一次前向传播)。所谓iterations就是完成一次epoch所需的batch个数 2. 换算关系 实际上,梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。
*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。 3. 示例CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。 每个 Epoch 要训练的图片数量:参考:https://blog.csdn.net/qq_36447181/article/details/80149590 https://zhuanlan.zhihu.com/p/29409502 |
CopyRight 2018-2019 实验室设备网 版权所有 |