基于改进pix2pix的红外图像转换技术

针对不同波段图像获取代价不同的问题，提出一种基于pix2pix的图像转换方法并进行改进。主要针对生成器和鉴别器两方面进行改进。生成器方面，使用残差结构的生成器替换原来的U-Net生成器以缓解梯度消失问题；引入可变形卷积，提高目标边缘和小目标的生成效果；引入BAM注意力机制，提高了算法对图像中主要目标的特征提取能力以提升生成图像的效果。鉴别器方面：改变PatchGAN中卷积层的层数(原PatchGAN为3层卷积),设置对照实验找到转换效果最好的卷积层数。以可见光图像和红外图像之间的转换为例进行实验。实验结果表明，改进后的算法在生成图像上的均方根误差(MSE)下降了31.4%、结构相似性(SSIM)提高了11.2%,可以更好的实现红外图像和可见光图像之间的转换。