物理世界中的视觉场景集成了多维信息(空间、时间、偏振、光谱等),它们通常表现出非结构化特征。传统的图像传感器无法处理这种多维视觉数据,这就需要能够从大量多维视觉数据中提取特征的视觉传感器。近日,香港理工大学柴扬对用于信息处理的多维视觉传感器进行了综述研究。
本文要点:
1) 视觉传感器能够将非结构化的视觉场景转换为特征信息,而无需依赖复杂的算法和复杂的硬件。传感器的响应特性可以抽象为具有特定功能的算子,从而允许对感知信息进行有效处理。
2) 作者深入研究了多维视觉传感器的硬件实现,并探索了它们的工作机制和设计原理,以及举例说明了基于新兴设备和硅基系统集成的多维视觉传感器。作者进一步提供了多维视觉传感器的基准测试指标,并总结了设备-系统协同设计和协同优化的原则。
Zhaoqing Wang et.al Multidimensional vision sensors for information processing Nature Nanotechnology 2024
DOI: 10.1038/s41565-024-01665-7
https://doi.org/10.1038/s41565-024-01665-7