交互式观星者摄像机器人可以帮助您拍摄教程视频

研究人员团队开发了Stargazer，这是一种交互式摄像机器人，可帮助大学教师和其他内容创作者创建引人入胜的教程视频，展示身体技能。

对于那些无法接触到摄像师的人，Stargazer可以捕捉动态教学视频并解决使用静态摄像头的限制。

“机器人的存在是为了帮助人类，而不是取代人类，”多伦多大学艺术与科学学院计算机科学系的博士研究生、首席研究员李建南解释道。

“教官是来教书的。机器人的作用是帮助拍摄——繁重的工作。”

今年在计算机协会计算系统人为因素会议上发表的一篇论文概述了Stargazer的工作，该会议是人机交互领域的领先国际会议。

Li的合著者包括多伦多大学动态图形项目(dgp)实验室的其他成员：博士后研究员MauricioSousa、博士生KarthikMahadevan和BryanWang、RavinBalakrishnan教授和ToviGrossman副教授;以及副教授AnthonyTang(与信息学院交叉任命);多伦多大学信息学院应届毕业生PaulaAkemiAoyaui和NicoleYu;和三年级计算机工程专业的学生AngelaYang。

Stargazer在机器人手臂上使用一个摄像头，带有七个独立的电机，可以通过自主跟踪感兴趣的区域与视频对象一起移动。该系统的摄像头行为可以根据教练的细微提示进行调整，例如原型传感器检测到的身体动作、手势和语音。

讲师的声音由无线麦克风录制，并发送到语音识别软件MicrosoftAzureSpeech-to-Text。然后将转录的文本和自定义提示发送到GPT-3程序，这是一个大型语言模型，可以标记教师对相机的意图——例如标准与高角度以及正常与更紧凑的取景。

研究人员说，这些摄像机控制命令是教师自然使用的提示，用于引导观众的注意力，不会干扰教学。

例如，教师可以让Stargazer调整其视图，通过指向每个工具来查看他们将在教程中使用的每个工具，从而促使相机四处平移。导师还可以对观众说，

“如果你看看我是如何从顶部将‘A’放入‘B’中的，”Stargazer会通过高角度构图动作来给观众提供更好的视角。

在设计交互词汇时，团队希望识别微妙的信号，避免教师在与学生或听众交谈时单独与机器人交流。

“目标是让机器人实时了解教练想要什么样的击球，”李说。“这个目标的重要部分是我们希望这些词汇不会造成干扰。应该感觉它们适合教程。”

Stargazer的能力在一项涉及六名教师的研究中得到了检验，每位教师都教授一种独特的技能来创建动态教程视频。

使用机器人，他们能够制作视频，展示各种主题的物理任务，从滑板维护到交互式雕塑制作和设置虚拟现实耳机，同时依靠机器人进行对象跟踪、相机取景和相机角度组合。

每位参与者都进行了一次练习，并在两次练习中完成了他们的教程。研究人员报告说，除了机器人相机提供的控制之外，所有参与者都能够创建视频，而不需要任何额外的控制，并且对制作的视频质量感到满意。

虽然Stargazer的摄像机位置范围足以进行桌面活动，但该团队有兴趣探索摄像机无人机和轮式机器人的潜力，以帮助从不同角度在更大的环境中完成拍摄任务。

他们还发现一些研究参与者试图通过向相机提供或展示物体来触发物体拍摄，这不是Stargazer目前识别的线索。未来的研究可以研究通过结合来自教练的目光、姿势和言语的同步信号来检测各种微妙意图的方法，李说这是团队正在取得进展的长期目标。

虽然该团队将Stargazer作为那些无法接触到专业摄制组的人的一种选择，但研究人员承认机器人相机原型依赖于昂贵的机器人手臂和一套外部传感器。然而，李指出，观星者的概念不一定受到昂贵技术的限制。

“我认为机器人拍摄设备有一个真正的市场，即使在消费者层面也是如此。Stargazer正在扩展这个领域，但会放眼更远的地方，拥有更多的自主权和更多的互动。所以实际上，它可以提供给消费者，”他说。

李说，团队对Stargazer为加强人机协作带来的可能性感到兴奋。

“让机器人与人类一起工作，关键是让机器人更好地理解人类。在这里，我们正在研究这些词汇，这些典型的人类交流行为，”他解释道。

“我们希望激励其他人了解人类如何交流……以及机器人如何接受并做出适当的反应，比如辅助行为。”