深度学习日常发问（三）：激活函数性能对比 |
您所在的位置：网站首页 › 常用激活函数相比哪个效果更好 › 深度学习日常发问（三）：激活函数性能对比 |
|
写在开头：今天主要分享一下对不同激活函数性能的理解，无大量案例支撑无专业性，仅当复习知识点。 内容介绍在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。 Q1：什么是激活函数？为什么需要激活函数？ Q2：激活函数有哪些？ Q3：这些激活函数之间图像有多大的差异？ Q4：那么怎么来检验各个激活函数之间的性能呢？ 开始分享Q4：那么怎么来检验各个激活函数之间的性能呢？ 在此本文使用cifar-10的数据集来对神经网络进行训练，然后神经网络大体采用之前的文章，GPU与CPU当中搭建的小型VGG，这里需要说明的是对于一部分激活函数，Torch有自带的类可直接调用，但Mish、Swish和Maxout则需要自己编写，由于笔者还不太会Maxout的编写，就放一放，比较一起其他10个激活函数的性能，我们会从运行时间、训练集损失函数图像和测试集预测精度三个方面进行对比。代码的话，这里仅展示一个mish激活函数的封装版，至于替他的变化都很简单，会在文章末尾提供百度云盘下载链接的py文件进行。 下面是Mish的代码，首先需要加载数据和包，使用是CIFAR-10的数据，然后网络使用的是一个VGG6的近似网络，注意我们此处的网络都没有加BN层， #加载包和数据 from torch.autograd import Variable import torch.nn as nn import torch.nn.functional as F import time import matplotlib.pyplot as plt import torch.optim as optim import torch import torchvision import torchvision.transforms as transforms transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=0) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=0) classes = ('pla |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
| CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |