【pytorch】筛选冻结部分网络层参数同时设置有参数组的时候该怎么办？

2023-10-10 17:49| 来源: 网络整理| 查看: 265

在进行神经网络训练的时候，常常需要冻结部分网络层的参数，不想让他们回传梯度。这个其实很简单，其他博客里教程很多~ 那如果，我想对不同的参数设置不同的学习率呢？这个其他博客也有，设置参数组就好啦，优化器就可以分别设置学习率了。那么，如果我同时想冻结参数和设置不同的学习率呢？是不是把两个人给合起来就好了？好的那你试试吧看看行不行。

我最近工作中需要对two-stream的其中的一只进行冻结，并且设置不同的学习率。下面记录一下我踩的坑。首先，我们需要筛选所需要的层。我想要把名字里含有特定符号的层给筛选出来。在这里我要强烈推荐这个利用正则表达式来进行字符串筛选的方式！

import re str = 'assdffggggg' word = 'a' a = [m.start() for m in re.finditer(word, str)]

这里的a是一个列表，它里面包含的是word在字符串str中所在的位置，这里自然就是0了。在进行网络层参数冻结的时候，网上会有两种for循环：

for name, p in net.named_parameters(): for p in net.parameters():

这两种都行，但是对于需要对特定名称的网络层进行冻结的时候就需要选第一个啦，因为我们需要用到参数的"name"属性。下面就是简单的筛选和冻结，和其他教程里面的一样：

word1 = 'seg' for name, p in decode_net.named_parameters(): str = name

【本文地址】

公司简介

联系我们