【pytorch参数初始化】 pytorch默认参数初始化以及自定义参数初始化

2023-09-04 06:04| 来源: 网络整理| 查看: 265

本文用两个问题来引入

1.pytorch自定义网络结构不进行参数初始化会怎样，参数值是随机的吗？ 2.如何自定义参数初始化？

先回答第一个问题

在pytorch中，有自己默认初始化参数方式，所以在你定义好网络结构以后，不进行参数初始化也是可以的。

1.Conv2d继承自_ConvNd，在_ConvNd中，可以看到默认参数就是进行初始化的，如下图所示

2.torch.nn.BatchNorm2d也一样有默认初始化的方式

3.torch.nn.Linear也如此

现在来回答第二个问题。

pytorch中对神经网络模型中的参数进行初始化方法如下：

from torch.nn import init #define the initial function to init the layer's parameters for the network def weigth_init(m): if isinstance(m, nn.Conv2d): init.xavier_uniform_(m.weight.data) init.constant_(m.bias.data,0.1) elif isinstance(m, nn.BatchNorm2d): m.weight.data.fill_(1) m.bias.data.zero_() elif isinstance(m, nn.Linear): m.weight.data.normal_(0,0.01) m.bias.data.zero_()

首先定义了一个初始化函数，接着进行调用就ok了，不过要先把网络模型实例化：

#Define Network model = Net(args.input_channel,args.output_channel) model.apply(weigth_init)

此上就完成了对模型中训练参数的初始化。

在知乎上也有看到一个类似的版本，也相应的贴上来作为参考了：

def initNetParams(net): '''Init net parameters.''' for m in net.modules(): if isinstance(m, nn.Conv2d): init.xavier_uniform(m.weight) if m.bias: init.constant(m.bias, 0) elif isinstance(m, nn.BatchNorm2d): init.constant(m.weight, 1) init.constant(m.bias, 0) elif isinstance(m, nn.Linear): init.normal(m.weight, std=1e-3) if m.bias: init.constant(m.bias, 0) initNetParams(net)

再说一下关于模型的保存及加载

1.保存有两种方式，第一种是保存模型的整个结构信息和参数，第二种是只保存模型的参数

#保存整个网络模型及参数 torch.save(net, 'net.pkl') #仅保存模型参数 torch.save(net.state_dict(), 'net_params.pkl')

2.加载对应保存的两种网络

# 保存和加载整个模型 torch.save(model_object, 'model.pth') model = torch.load('model.pth') # 仅保存和加载模型参数 torch.save(model_object.state_dict(), 'params.pth') model_object.load_state_dict(torch.load('params.pth'))

【本文地址】

公司简介

联系我们

今日新闻

推荐新闻

专题文章