特别说明：本文由学研汇技术中心原创撰写，旨在分享相关科研知识。因学识有限，难免有所疏漏和错误，请读者批判性阅读，也恳请大方之家批评指正。
原创丨彤心未泯（学研汇 技术中心）
编辑丨风云
机器感知利用先进的传感器采集周围场景的信息进行态势感知。当智能体的数量增加时，使用主动声纳、雷达和激光雷达来增强相机视觉的先进机器感知面临困难。利用无处不在的热信号可能是可扩展感知的新前沿。然而，物体及其周围环境不断地发射和散射热辐射，导致无纹理图像被称为"鬼影效应"。因此，热视觉不受信息损失的限制，而对于导航至关重要的热测距，即使与人工智能( AI )结合也难以实现。
有鉴于此，美国普渡大学Zubin Jacob等人提出并通过实验证明了热辅助检测和测距(HADAR)克服了重影这一公开挑战，并将其与人工智能增强热传感进行了基准测试。HADAR不仅能像白天一样透过黑暗看到纹理和深度，还能感知RGB或热视觉之外的物理属性，为完全被动和物理感知的机器感知铺平道路。作者开发了HADAR估计理论并解决了其光子散粒噪声限制，描述了基于HADAR的人工智能性能的信息理论界限。HADAR夜间测距优于热测距，其精度可与日光下的RGB立体视觉相媲美。本工作的自动化HADAR热成像技术在温度精度方面达到了Cramér-Rao界限，超越了现有的热成像技术。该工作带来了一种颠覆性技术，可以通过基于HADAR的自主导航和人机社交互动加速第四次工业革命（工业4.0）。
TeX和重影效应
作者使用一种称为TeX（温度T—物理状态、发射率e—材料指纹和纹理X—表面几何形状）分解的方法来解决重影效应，该方法生动地从杂乱的热信号中恢复纹理，并准确地解开Cramér-Rao界的温度和发射率。TeX 视觉使AI算法能够达到信息理论的界限，这是传统 RGB 或热视觉迄今为止难以实现的。HADAR 演示包括基于TeX视觉的检测和测距，适用于现实世界级 HADAR 数据库和户外实验。作者提供了与最先进的人工智能增强热传感的详细比较，并证明HADAR提供了普遍的性能增强。为了直观清楚起见，作者使用灯泡热辐射的例子解释了重影效应的起源。
图 HADAR是机器感知的转变
图 蒙特卡洛路径追踪模拟灯泡来解释“重影效应”
HADAR可识别性
作者开发了HADAR估计理论来解决通过热红外特征识别物体的基本限制。HADAR与传统的高光谱成像不同，HADAR 可识别性是通过温度、发射率和纹理的多参数估计来确定的。基于此，作者达到了广泛部署的基于机器学习的感知方法的极限。
图 HADAR可识别性的散粒噪声极限
HADAR深度分辨率
物体的深度是自主导航的关键场景属性。作者证明了HADAR夜间测距优于热测距，其深度精度可与日光下的RGB立体视觉相媲美。HADAR测距结果与RGB立体视觉相当。从数量上讲，与热测距相比，HADAR的精度提高了大约 100倍。
图 HADAR 测距的基本限制
真实世界的HADAR感知
在现实场景中通过实验演示HADAR，使用夜间室外场景，并说明了HADAR 如何解决幻象制动问题。HADAR可以检测到相应材料区域（皮肤+织物）中的人，并将其与纸板清楚地区分开来，克服了幻象制动问题。使用越野场景来证明TeX视觉可以在物理环境下透过黑暗看到纹理，并且HADAR在夜间测距优于热测距，其精度可与日光下的RGB立体视觉相媲美。
图 美国印第安纳州物理驱动的HADAR感知
图 夜间HADAR测距
参考文献：
Bao, F., Wang, X., Sureshbabu, S.H. et al. Heat-assisted detection and ranging. Nature 619, 743–748 (2023).
DOI：10.1038/s41586-023-06174-6
https://doi.org/10.1038/s41586-023-06174-6
