怎么解决pytorch损失反向传播后梯度为none的问题 | 您所在的位置:网站首页 › pytorch求导在最后一次崩溃 › 怎么解决pytorch损失反向传播后梯度为none的问题 |
pytorch在进行有损失的反向传播的时候,有时候会出现梯度为none的情况,那么这种情况要如何解决呢?来看看小编是怎么做的: 错误代码:输出grad为none a = torch.ones((2, 2), requires_grad=True).to(device) b = a.sum() b.backward() print(a.grad) 由于.to(device)是一次操作,此时的a已经不是叶子节点了修改后的代码为: a = torch.ones((2, 2), requires_grad=True) c = a.to(device) b = c.sum() b.backward() print(a.grad)类似错误: self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01应该为 self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)补充:pytorch梯度返回none的bug pytorch1.4.0如果使用了view方法,reshape方法tensor即使设置了requires_grad,反向传播之后, x返回没有grad梯度,为none 不知道其他版本有无此bug
补充:PyTorch中梯度反向传播的注意点 在一个迭代循环中optimizer.zero_grad()语句的位置比较随意,只要放在loss.backward()前面即可,它的作用是将梯度归零,否则会在每一个迭代中进行累加, loss.backward()的作用是反向传播,计算梯度,optimizer.step()的功能是优化器自动完成参数的更新。 optimizer.zero_grad() loss.backward() optimizer.step()以上就是怎么解决pytorch损失反向传播后梯度为none的问题的全部内容,希望能给大家一个参考,也希望大家多多支持W3Cschool。 |
CopyRight 2018-2019 实验室设备网 版权所有 |