Pytorch：参数初始化 笔记

DanielFaster: 使用ImageNet的预训练模型 还有初始化，实验结果表明，这种做法可以让模型收敛更快，模型性能更高

qq_1248742467: 你好，请问怎么从linear改成xavier呢？我改了之后老是报错：AttributeError: 'float' object has no attribute 'dim' [code=python] """def reset_parameters(self): ####sqrt返回其平方根 stdv = 1. / math.sqrt(self.weight.size(1)) ###对权重进行初始化 self.weight.data.normal_(-stdv, stdv) ###对偏置进行初始化 if self.bias is not None: self.bias.data.normal_(-stdv, stdv)""" def reset_parameters(self): '''报错：AttributeError: 'float' object has no attribute 'dim' ''' stdv = 1. /math.sqrt(self.weight.size(1)) #使用xavier进行初始化 #nn.init.xavier_uniform_(stdv, gain=nn.init.calculate_gain('relu')) nn.init.xavier_normal_(stdv) [/code]

SeanQikYibo: 博主大大你好，我训练报错。inputs, labels = inputs.to(device), labels.to(device) AttributeError: 'tuple' object has no attribute 'to'请问这个是什么原因呢，版本问题吗

ohbaby别叫我程序猿: 该写了，哥

qq_37905873: 初始化还没有不初始化好？这个怎么理解啊。。