一次一个像素地推进计算机视觉

当一只兔子突然跳到你面前的路上时，你正坐在一辆自动驾驶汽车里。不好了!这是通常发生的事情：汽车的传感器捕捉到兔子的图像;这些图像被发送到计算机，在那里进行处理并用于做出决定;该决定被发送到汽车的控制系统，这些控制系统会进行调整以安全避开兔子。避免了危机。

这只是计算机视觉的一个例子——人工智能的一个领域，它使计算机能够获取、处理和分析数字图像，并根据该分析提出建议或决策。

计算机视觉市场正在迅速增长，包括从DoD无人机监控到商用智能眼镜，再到避兔自动驾驶汽车系统的一切。正因为如此，人们对改进计算机视觉技术的兴趣越来越大。

南加州大学维特比信息科学研究所(ISI)和MingHsieh电气与计算机工程系(ECE)的研究人员最近完成了DARPA(国防高级研究计划局)项目的第1和第2阶段，该项目旨在在计算机视觉方面取得进展。

两个工作分布在两个独立的平台上

在上面的兔子在路上的场景中，“前端”是视觉传感(汽车传感器捕捉兔子的图像)，“后端”是视觉处理(分析数据)。这些是在不同的平台上进行的，这些平台传统上是物理分离的。

ISI高级电子产品总监AjeyJacob解释了这种影响：“在需要将大量数据从图像传感器发送到后端处理器的应用中，物理上分离的系统和硬件会导致吞吐量、带宽和能效方面的瓶颈”

为了避免这个瓶颈，一些研究人员从邻近的角度来解决这个问题——研究如何使后端处理更接近前端图像收集。

印刷电路板，电子产品-说明性照片。

印刷电路板、电子产品–说明性照片。图片来源：AnneNygård来自Unsplash，免费许可

Jacob解释了这种方法：“你可以将处理过程带到CPU[计算机]上，并将CPU放置在离传感器更近的地方。传感器将收集信息并将其发送到计算机。如果我们假设这是一辆汽车，那很好。我可以在车上安装一个CPU来进行处理。但是，假设我有一架无人机。我不能把这台电脑带进无人机，因为CPU太大了。另外，我需要确保无人机有互联网连接和足够大的电池来发送这个数据包。”

因此，ISI/ECE团队采用了另一种与计算机视觉相关的方法，并着眼于减少或完全消除后端处理。雅各布解释说：“我们所说的是，让我们对像素本身进行计算。所以你不需要电脑。您不需要创建另一个处理单元。你在本地，在芯片上进行处理。”

计算机视觉：像素内的前端处理

用于人工智能应用的图像传感器芯片上的处理被称为像素内智能处理(IP2)。使用IP2，计算机视觉处理就发生在像素本身的数据之下，并且只提取相关信息。这要归功于计算机微芯片的进步，特别是用于图像处理的CMOS(互补金属氧化物半导体)。

该团队提出了一种称为内存中像素处理(P2M)的新型IP2范式，它利用先进的CMOS技术使像素阵列能够执行更广泛的复杂操作——包括图像处理。

ISI的计算机科学家兼ECE的助理教授AkhileshJaiswal领导了前端电路设计。他解释说：“我们提出了一种在相机芯片内融合传感、存储和计算的新方法，首次结合了混合信号模拟计算的进步，并将它们与半导体芯片3D集成方面取得的进展相结合。”

像素内处理后，只有经过压缩的有意义数据才会向下游传输到AI处理器，从而显着降低功耗和带宽。ISI高级研究工程师JoeMathai表示：“在像素传感器上的压缩和计算之间找出正确的权衡点，需要做大量工作。”

在分析了这种权衡之后，该团队创建了一个框架，可以将芯片缩小到传感器的大小。而且从传感器传输到计算机的数据也非常小，因为数据首先被修剪，或者在像素本身上计算。

从前到后，走向未来

RPIXELS(用于高效低能量异构系统的像素内循环神经网络处理)是针对DARPA挑战提出的最终解决方案。它将前端像素内处理与ISI团队优化以支持前端的后端相结合。

在测试RPIXEL框架时，该团队看到了令人鼓舞的结果：数据大小和带宽均减少了13.5倍(DARPA的目标是将这两个指标减少10倍)。

ISI高级计算机科学家AndrewSchmidt说：“RPIXELS通过将神经网络的第一层直接紧密耦合到像素中进行计算，减少了延迟(进行图像处理所花费的时间)和所需的带宽。

这允许根据计算机视觉传感器“看到”的内容更快地做出决策。它还使研究人员能够开发新颖的后端对象检测和跟踪算法，以继续创新以获得更准确和更高性能的系统。”

“这个项目是USCECE系与ISI合作的一个很好的例子，”ECE计算机与电气工程教授PeterBereel说。“我们将ECE在硬件和机器学习算法之间的边界方面的专业知识与ISI的设备、电路和机器学习应用专业知识相结合。”

下一步是通过将电路放在硅片上并在现实世界中测试这个计算机视觉平台来创建物理芯片，这除其他外可以拯救一些兔子。