超分之SwinIR

浅层特征提取模块： F 0 = H S F ( I L Q )     ( 1 ) F_0 = H_{SF}(I_{LQ}) \ \ \ (1) F0​=HSF​(ILQ​)   (1) 其中：

I L Q ∈ R H × W × C i n I_{LQ}\in R^{H×W×C_{in}} ILQ​∈RH×W×Cin​：输入的低质量图像(low-quality)，

H S F ( ⋅ ) H_{SF}(·) HSF​(⋅)：浅层特征提取函数，3×3的卷积层。

F 0 ∈ R H × W × C F_0\in R^{H×W×C} F0​∈RH×W×C：提取的浅层特征。

使用卷积层提取浅层特征的优势：

深层特征提取模块： F D F = H D F ( F 0 )      ( 2 ) F_{DF} = H_{DF}(F_0)\ \ \ \ (2) FDF​=HDF​(F0​)    (2) 其中：

F D F ∈ R H × W × C F_{DF}\in R^{H×W×C} FDF​∈RH×W×C：提取的深层特征。

H D F ( ⋅ ) H_{DF}(·) HDF​(⋅)：深层特征提取函数，包含K个residual Swin Transformer blocks(RSTB)和1个3×3的卷积层。 具体地： F i = H R S T B i ( F i − 1 ) , i = 1 , 2 , . . . , K , F D F = H C O N V ( F K )          ( 3 ) \begin{align} F_i = H_{RSTB_i}(F_{i-1}), i = 1, 2, ..., K,\\ F_{DF} = H_{CONV}(F_K) \end{align}\ \ \ \ \ \ \ \ (3) Fi​=HRSTBi​​(Fi−1​),i=1,2,...,K,FDF​=HCONV​(FK​)​​        (3) 其中:

F 1 , F 2 , . . . , F K F_1, F_2, ..., F_K F1​,F2​,...,FK​：中间层特征

H R S T B ( ⋅ ) H_RSTB(·) HR​STB(⋅)：第i个RSTB

H C O N V ( ⋅ ) H_{CONV}(·) HCONV​(⋅)：最后一个卷积层。

在深层特征提取的最后使用卷积层的优势:

图像重建模块：

SR任务(需要上采样操作)： I R H Q = H R E C ( F 0 + F D F )      ( 4 ) I_{RHQ} = H_{REC}(F_0 + F_{DF}) \ \ \ \ (4) IRHQ​=HREC​(F0​+FDF​)    (4) 其中：

图像去噪和JPEF压缩伪影减少任务(不需要上采样操作): I R H Q = H S w i n I R ( I L Q ) + I L Q      ( 5 ) I_{RHQ} = H_{SwinIR}(I_{LQ}) + I_{LQ}\ \ \ \ (5) IRHQ​=HSwinIR​(ILQ​)+ILQ​    (5) 其中： - H S w i n I R H_{SwinIR} HSwinIR​：深层特征提取中SwinIR的函数。

损失函数： l = ∣ ∣ I R H Q − I H Q ∣ ∣ 1       ( 6 ) l = ||I_{RHQ} - I_{HQ}||_1\ \ \ \ \ (6) l=∣∣IRHQ​−IHQ​∣∣1​     (6) 其中：

I R H Q I_{RHQ} IRHQ​：将低质量图像 I L Q I_{LQ} ILQ​作为SwinIR的输入得到的重建高质量图像。

I H Q I_{HQ} IHQ​：LQ图像对应的GT图像(ground-truth)。 对于经典(classical)和轻量级(lightweight)图像SR:

损失函数仅使用公式(6)中的==L1损失==，来显示设计的SwinIR网络的有效性。 对于真实世界(real-world)图像SR:

损失函数使用==像素损失+GAN损失+感知损失(pixel_loss+GAN_loss+perceptual_loss)==，来提高视觉质量。 **对于图像去噪和JPEF压缩伪影减少任务：

损失函数使用==Charbonnier loss==： l = ∣ ∣ I R H Q − I H Q ∣ ∣ 2 + ϵ 2      ( 7 ) l = \sqrt{||I_{RHQ} - I_{HQ}||^2 + \epsilon^2}\ \ \ \ (7) l=∣∣IRHQ​−IHQ​∣∣2+ϵ2 ​    (7) 其中：

ϵ \epsilon ϵ：是一个常数，这里为 1 0 − 3 10^{-3} 10−3。