对动物行为的全面描述要求对全身运动进行精确的3D测量。尽管二维方法可以在限制性环境中跟踪可见的地标，但是由于遮挡和外观变化，自由移动动物的性能下降。有鉴于此，哈佛大学的Bence P. Ölveczky等研究人员，发现几何深度学习可实现跨物种和环境的3D运动学分析。

本文要点

1）研究人员设计了DANNCE，这个方法能够在不同的物种和行为中可靠地跟踪3D解剖标志。

2）DANNCE使用射影几何来构建卷积神经网络的输入，该卷积神经网络利用了学习到的3D几何推理。

3）研究人员使用了将近700万帧的数据集来训练和基准化DANNCE，这些数据集与彩色视频和啮齿动物3D姿势相关。

4）在大鼠和小鼠中，DANNCE可以在自然环境下稳健地跟踪自由移动的动物的头部、躯干和四肢上的数十个标志。

5）研究人员将DANNCE扩展到大鼠幼崽、狨猴和山雀的数据集，并证明了发育过程中行为谱系的定量分析。

参考文献：

Timothy W. Dunn, et al. Geometric deep learning enables 3D kinematic profiling across species and environments. Nature Methods, 2021.

DOI：10.1038/s41592-021-01106-6

https://www.nature.com/articles/s41592-021-01106-6