DOI: 10.1038/s41565-023-01379-2“动态视觉信息”是指随着时间变化而改变的视觉信息，如视频流。相比于静态图片，动态视觉信息的处理往往需要大量的计算资源，并造成大的能耗和时耗。对于许多应用，如监控系统、无人机、移动机器人和自动驾驶汽车，高效处理动态视觉信息的能力至关重要。飞行昆虫的小型视觉系统向研究人员提供了一种值得借鉴的仿生模型。飞行昆虫可以敏捷地感知现实世界的运动，这使它们能够在混乱和不确定的环境中快速做出反应。通过借鉴仿生学原理，可以将动态视觉信息的处理转化为更加高效的方式，并应用于各种领域，包括物联网、机器人和自动化等。香港理工大学柴扬课题组聚焦于感算融合（in-sensor computing）并应用到人工视觉系统（Nature, 2020, 579, 32-33; Nature Electronics, 2020, 3, 664-671; Nature Electronics, 2022, 5, 483-484），之前展示了针对于静态图像的衬度增强（Nature Nanotechnology, 2019, 14, 776-782）以及不同光强背景下的视觉适应（Nature Electronics, 2022, 5, 84-91; Nature, 2022, 602, 364）。近日，柴扬课题组及其合作者通过制备仿生昆虫视觉系统的梯级神经元，有效地编码了时间和运动信息，采用20×20的光传感器阵列，可以有效检测视野中的运动物体轨迹。在相同的网络架构下，基于仿生神经元来感知移动小球的运动，识别率达到99.2％，远高于基于传统视觉传感器的识别率(约50%)。视觉系统对视觉信息的感知速度可以通过闪烁融合频率（大致是视觉暂留时间的倒数）来半定量描述。果蝇的闪烁融合频率约为 100 Hz，而人眼的闪烁融合频率约为25 Hz。飞行昆虫具有敏捷的运动感能力，主要有2方面原因：（1）他们微小的视觉系统大大缩短了视网膜（传感器）和大脑（计算单元）之间的信号传输距离。(2) 视觉细胞在感光后会释放神经递质，梯级神经元接收神经递质并进行含时信息的编码，梯级神经元的信号传输速率达到 1650 bit/s，比脉冲神经元 (300 bit/s) 高约 4倍。脉冲神经元中不应期的存在极大地限制了信息传递的速度。
图1. 昆虫视觉系统基于梯级神经元进行迅捷的运动感知柴扬课题组研发了能够仿生果蝇梯级神经元功能的光电晶体管。这些光电晶体管,是利用具有浅电荷捕获中心的二硫化钼作为导电沟道。光刺激会在二硫化钼薄膜中产生光生载流子，这些载流子模仿视网膜的光电转换过程。这些光传感器可以通过非线性积累在时间域内逐渐累加光刺激，并在撤掉光后回到基态（易失性行为），从而模拟梯级神经元的特性。柴扬课题组测试了仿生传感器在一系列连续光脉冲下的光响应，器件在时间上的编码特性类似于昆虫的梯级神经元。
基于仿生梯级神经元的时域特性，光电器件可以高效编码时序信息。使用能够编码时空视觉信息并展示运动轨迹轮廓的光传感器阵列（20×20像素），可以感知动态运动。仿生传感器阵列通过帧间信息非线性叠的方式输出时空运动信息，从而清晰地展示从左到右的整个运动轨迹的轮廓。当运动沿反向方向进行时，传感器阵列可以感知到运动的反向轮廓。相比之下，传统的互补型金属氧化物半导体图像传感器只能输出运动的最新帧，缺乏编码时间视觉和感知运动的能力。人工梯级神经元还可以感知靠近/远离运动。随着传感器和物体之间的距离减小，在视野中的投影尺寸增大。光电流映射轮廓呈现扩张特征，表明物体靠近运动。当物体离开时，光电流轮廓显示出收缩特征。
仿生视觉传感器可以融合一系列帧的时空信息，有利于神经网络进行高效的动作识别。图4对比了在相同小型人工神经网络下，基于仿生视觉传感器和传统图像传感器对小球运动的感知和识别结果。经过约10次训练后，基于仿生视觉传感器的动作识别精度可以达到99.2％，比基于传统图像传感器的精度（约50％）高很多。仿生视觉传感器的高识别率源于融合了整个动作的时空信息。人工梯级神经元可以直接感知和编码时间信息，这种仿生视觉传感器为在有限计算资源下敏锐地进行动作识别提供了有效的方案。
二硫化钼光电晶体管通过仿生梯级神经元的功能，实现了高信息传输速率，并能够直接感知和编码单像素级的时序信息。仿生视觉传感器阵列可以编码时空视觉信息并显示轨迹的轮廓，可以在有限的硬件资源下准确感知运动，动作识别的准确性可达99.2％，比使用传统图像传感器（约50％）高很多。仿生昆虫光电器件适用于分布式监控系统、无人机控制和自动驾驶汽车等领域，以较少的硬件资源、能耗和网络架构参数，实现动态视觉信息的感知和处理。第一作者陈杰威博士是香港理工大学博士后，研究方向是低功耗拓扑晶体管以及感算一体仿生光电晶体管。主要基于拓扑材料和二维半导体制备信息功能器件，对器件进行了磁、电、光和离子等多种方式的调控。近3年作为第一作者在知名学术期刊上发表了多篇研究性论文，包括Nat. Nanotech., Sci. Adv., Nat. Commun., Adv. Mater.等。柴扬课题组目前招收具有电子器件物理背景的博士后和博士生，感兴趣的同学可以发简历到ychai@polyu.edu.hk
