Pytorch forward()的简单理解与用法

2023-09-22 11:22| 来源: 网络整理| 查看: 265

1.基本用法

在pytorch中，使用torch.nn包来构建神经网络，我们定义的网络继承自nn.Module类。而一个nn.Module包含神经网络的各个层(放在__init__里面)和前向传播方式(放在forward里面)，例如：

class Module(nn.Module): # 网络结构 def __init__(self): super(Module, self).__init__() # ...... # 前向传播 def forward(self, x): # ...... return x #输入数据 data = ..... # 实例化网络 module = Module() # 前向传播 module(data) # 而不是使用下面的 # module.forward(data)

可以发现，我们在编写代码的时候并不会显式地去调用forward方法。原因在于：

module(data)

实际上就等价于

module.forward(data) 2.原理分析

首先明确为什么module是一个对象，却可以像一个方法一样传入data进行调用

module(data)

原理是python中的__call__语法。例如：

class Module(): def __call__(self, data): print('传入的参数为->', data) module = Module() module(1)

输出为：

传入的参数为-> 1

也就是说，在我们编写的模型所继承的nn.Module类中，其__call__方法内便包含了某种形式的对forward方法的调用，从而使得我们不需要显式地调用forward方法。当然，以上是简化的理解，实际的过程应为：

调用module的call方法module的call里面调用module的forward方法forward里面如果碰到Module的子类，回到第1步，如果碰到的是Function的子类，继续往下调用Function的call方法Function的call方法调用了Function的forward方法Function的forward返回值module的forward返回值在module的call进行forward_hook操作，然后返回值 3.参考

https://blog.csdn.net/xu380393916/article/details/97280035 https://blog.csdn.net/u011501388/article/details/84062483

【本文地址】

公司简介

联系我们