人工智能如何创建全彩色夜视摄像机

曹欣

夜视摄像头技术在数字时代取得了长足的进步。随着传感器的不断改进，低光环境下的图像质量也在不断提高。然而，与红外夜视摄像机一样，它们是单色的。研究人员希望通过将红外相机技术与人工智能相结合来改变这种状况，开发出一种夜视相机，即使在人眼完全黑暗的情况下也能产生全彩色图像。

专门的夜视摄像系统在红外光中可“看到”肉眼看不到的影像，然后将其数字转换为可见光谱中的单色图像，人的肉眼可见光谱的波长范围为400至700 nm，对于暗部细节的观察有局限性。如果通过优化的深度学习架构，提供支持的成像算法，那么场景中的红外光谱照明就可以用来预测光谱渲染，实现彩色夜视图像。

为了实现彩色夜视图像这一目标，团队需要使用合适的图像集充分训练深度学习模型。使用在多光谱照明下显示的打印图像，对卷积神经网络进行了优化，以预测在红外光下看到的不同图像在可见光谱中的样子。“这项研究是从难以察觉的近红外照明，预测人类可见光谱場景的第一步。”

先前的尝试包括使用典型的相机和红外相机拍摄相同的场景，让机器学习模型，从红外图像中预测颜色。后来科学家们改为使用多种波长的红外光来改进颜色预测算法，结果表明，与实际彩色图像相比，增加了红外通道的数量之后，该模型做出了更好的预测，可以实现更准确的全色预测。

但到目前为止，该团队的深度学习模型仅使用三个输入红外图像就产生了一致的 RGB 重建。此外，所提出的U-Net架构每秒可以处理三个图像。该技术可用于监视、安全、动物观察和军事行动，还可用于处理和研究对可见光敏感的生物样本，例如研究视网膜组织时。虽说目前并不能完全充当实时的全彩色夜视摄像机，但随着架构的改进、多线程或更快的硬件的升级，迭代只是时间问题。

FID 分数（越低越好）随着模型的训练越来越多，红外波长捕获的图像质量得到提高。从黑线可以看出，使用三个红外波长（718、777 和 807 nm）获得了最佳结果