光谱图像比普通的彩色图像蕴含着更丰富的信息，被广泛地应用于天文、遥感、生物、环境等许多领域。然而传统的光谱成像设备往往昂贵且体积庞大，而且需要使用空间扫描或光谱扫描的方式才能获取一幅光谱图像，成像速度较慢。使光谱成像设备变得与数码相机甚至手机一样小巧易用，是科学家们一直追求的目标。
近日，来自浙江大学光电学院现代光学仪器国家重点实验室的刘旭教授团队将人工智能技术与先进光学加工技术相结合，研发了一种新型的光谱相机。其体积仅为手机摄像头大小，并且拥有可以媲美大型光谱成像设备的成像质量，以及更快的成像时间。相关成果 Deeply learned broadband encoding stochastic hyperspectral imaging于近日发表在Nature旗下光学顶级期刊《Light: Science and Applications》上。
图1. 刘旭教授团队研发的智能光谱相机BEST camera样机
“智能”滤光片
为了缩小相机的体积、提高信号强度，研究人员摒弃了传统的窄带滤光方法，而是使用深度学习技术设计了16种不同的宽光谱滤光片对光谱信号进行编码。这使得作为光学硬件的滤光片也成为了神经网络的一部分，让相机得以仅使用16个输入通道即可探测到更多通道的光谱信息。
图2. “智能”的宽光谱编码滤光片
AI光谱解码器
针对重建速度、噪声以及滤光片设计问题，研究人员构建了基于深度神经网络（DNN）的光谱解码器，可根据输入的16幅光谱编码图像计算重建为高光谱图像。依靠DNN强大的并行计算特性，重建过程得以去除耗时的迭代过程，实现极快的光谱图像重建速度。依托于GPU计算平台，该算法重建一幅大小为640×480像素、拥有301个光谱通道的光谱图像仅需0.48秒。而经典的基于迭代的解码算法则需要3307.3秒，速度仅为DNN的1/7000。当图像像素数增加一倍时，使用DNN更是快了11000倍。同时，得益于DNN对大量训练数据的学习能力，研究人员通过使用有噪声的训练实现了比迭代解码算法更好的抗噪声能力。通过重建不同噪声水平下的光谱图像，DNN平均实现了8.14倍的抗噪能力提升。最终，BEST Camera实现了0.63nm的中心波长定位精度和等效5.2nm的光谱分辨率（图3）。
图3. BEST camera的光谱分辨能力
研究人员使用标准色卡和植物标本样品测试了BEST camera的光谱成像效果，如图4和图5所示。与经典的算法相比，实现了6.1倍的精度提升。
图4. BEST camera的光谱成像效果（A、C：样品的RGB图像；B、D：根据BEST camera输出的光谱图像计算所得的RGB图像；E-J：样品图像对应像素处的光谱曲线）
图5. BEST camera的光谱成像效果（A：样品的RGB图像；B：根据BEST camera输出的光谱图像计算所得的RGB图像；C-F：样品图像对应像素处的光谱曲线）
通过深度学习技术与光学硬件的结合，光谱成像设备能够在小型化的同时实现高质量、快速的光谱图像重建。BEST camera为紧凑化的光谱成像提供了可靠的技术路线，不仅有利于推广光谱成像技术，同时也拓展了人工智能技术在光学领域的应用。
论文信息：Zhang, W., Song, H., He, X. et al. Deeply learned broadband encoding stochastic hyperspectral imaging. Light Sci Appl 10, 108 (2021). https://www.nature.com/articles/s41377-021-00545-2