孪生结构网络是卷积神经网络中的一种特殊结构。其结构如上图所示，它由两个结构相同的子网络构成，网络的输入是两张像，其中一张称为模板图像，通常选取的是序列第一帧，另外一张称为搜索图像，选取的是后续帧，每一个子网络负责处理一张图像，通过子网络的前向计算，可以提取图像的特征，最后将两者特征通过相似性度量函数，最终计算得到一个17×17×1的热力图，代表着搜索图像中各个位置与模板图像的相似度值。并根据以下函数计算相似度（卷积函数）：

其中z是模板图像，x是搜索图像， φ代表的是一种特征映射操作，将原始图像映射成特定的空间特征，这里采用的是卷积神经网络里的卷积层和池化层，f是相似性度量函数，这里代表的是卷积函数。模板图像虽然使用的是视频序列的第一帧，但是它是经过裁剪而来的，以待跟踪目