想象一下，我们在狩猎旅行中看长颈鹿吃草。看向别处一秒钟后，我们看到这只动物低下头坐了下来。但是，我们想知道，在此期间发生了什么?康斯坦茨大学集体行为高级研究中心的计算机科学家们发现了一种方法，可以对动物的姿势和外观进行编码，以显示统计上可能发生的中间动作。

计算机视觉的一个关键问题是图像非常复杂。长颈鹿可以摆出各种各样的姿势。在狩猎旅行中，错过部分动作序列通常是没有问题的，但是，对于集体行为的研究，这一信息可能是至关重要的。这就是计算机科学家提出的新模型“神经木偶师”的用武之地。

预测剪影吧三维点sed

“计算机视觉的一个想法是通过编码尽可能少的参数来描述非常复杂的图像空间，”康斯坦茨大学计算机视觉教授巴斯蒂安Goldlücke解释道。到目前为止经常使用的一种表示是骨架。

在第16届亚洲计算机视觉会议会刊上发表的一篇新论文中，Bastian Goldlücke和博士研究人员Urs Waldmann和Simon Giebenhain提出了一种神经网络模型，可以表示运动序列，并根据几个关键点从任何角度呈现动物的完整外观。3D视图比现有的骨架模型更具可塑性和精确性。

博士研究员乌尔斯·瓦尔德曼说:“我们的想法是能够预测3D关键点，并能够独立于纹理跟踪它们。”“这就是为什么我们建立了一个人工智能系统，可以根据3D关键点从任何摄像机视角预测剪影图像。”

通过反转这个过程，也可以从剪影图像中确定骨骼点。在关键点的基础上，人工智能系统能够计算出统计上可能的中间步骤。使用单独的轮廓是很重要的。这是因为，如果你只研究骨骼点，你就不知道你所观察的动物是一个相当庞大的动物，还是一个接近饥饿的动物。

特别是在生物学领域，这种模型有应用:“在卓越集群‘集体行为高级研究中心’，我们看到许多不同物种的动物被跟踪，在这种情况下，姿势也需要预测，”Waldmann说。

长期目标:将该系统应用于尽可能多的野生动物数据

研究小组首先预测了人类、鸽子、长颈鹿和奶牛的剪影动作。Waldmann指出，人类经常被用作计算机科学的测试案例。他在卓越集群的同事们研究鸽子。然而，它们纤细的爪子构成了真正的挑战。牛的模型数据很好，而长颈鹿极长的脖子是Waldmann渴望承担的挑战。该团队根据几个关键点生成轮廓——从19到33个。

现在，计算机科学家已经为现实世界的应用做好了准备:在康斯坦茨大学(University of Konstanz)最大的集体行为研究实验室——成像衣架(Imaging Hanger)，未来将收集昆虫和鸟类的数据。在成像机库中，它比在野外更容易控制环境方面，如照明或背景。然而，长期目标是为尽可能多的野生动物物种训练模型，以获得对动物行为的新见解。

更多信息:Simon Giebenhain等人，神经木偶师:基于关键点的动态形状神经渲染，计算机视觉- accv 2022(2023)。引用本文:设计一个“神经木偶师”来识别骨骼节点(2023,3月8日)检索于2023年3月8日从https://techxplore.com/news/2023-03-neural-puppeteer-skeletal-nodes.html本文档受版权保护。除为私人学习或研究目的而进行的公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。