训练机器以数字方式学习,但以模拟方式执行任务(即输入随电压等物理量而变化)可以减少时间和功耗,但小错误会迅速累积。 宾夕法尼亚大学物理与工程研究人员 之前设计的电网 更具可扩展性,因为错误不会随着系统规模的扩大而以相同的方式累积,但它受到严重限制,因为它只能学习线性任务,即输入和输出之间具有简单关系的任务。

物理系统无需传统计算机处理器即可学习非线性任务

现在,研究人员创建了一个模拟系统,该系统速度快、功耗低、可扩展,能够学习更复杂的任务,包括“异或”关系 (XOR) 和非线性回归。这被称为对比局部学习网络;组件根据局部规则自行发展,而无需了解更大的结构。物理学教授 Douglas J. Durian 将其比作人类大脑中的神经元不知道其他神经元在做什么,但学习却出现了。

榴莲研究小组的博士后 物理学家Sam Dillavou说道:“从机器学习的角度来看,它可以学习执行有用的任务,类似于计算神经网络,但它是一个物理对象。”他 也是《美国国家科学院院刊》上发表的 有关该系统的论文的第一作者 。

“让我们真正兴奋的事情之一是,由于它不了解网络结构,所以它对错误的容忍度非常高,对以不同方式制造的机器非常稳健,我们认为这为扩大这些东西的规模开辟了很多机会,”工程学教授 马克·Z·米斯金 说。

物理学教授Andrea J. Liu 表示: “我认为这是一个理想的模型系统,我们可以通过研究它来深入了解各种问题,包括生物问题。” 她还表示,它还有助于与收集需要处理的数据的设备(如摄像头和麦克风)进行交互。

在论文中,作者表示,他们的自学系统“为研究新兴学习提供了独特的机会。与包括大脑在内的生物系统相比,我们的系统依赖于更简单、更易于理解的动力学,可精确训练,并使用简单的模块化组件。”

这项研究基于刘和博士后梅纳 赫姆 (Nachi) 斯特恩 设计的耦合学习框架, 他们于 2021 年发表了他们的研究成果。在这个范式中,一个不是为完成某项任务而设计的物理系统会适应应用的输入来学习任务,同时使用本地学习规则,不使用中央处理器。

Dillavou 表示,他专门为这个项目来到宾夕法尼亚大学,致力于将框架从模拟工作转化为当前的物理设计,可以使用标准电路元件制作。“最疯狂的部分之一是,这个东西真的是在自我学习;我们只是把它设置好,让它运行,”Dillavou 说。研究人员只输入电压作为输入,然后连接节点的晶体管根据耦合学习规则更新其属性。

“由于它的计算和学习方式都是基于物理学的,因此更容易解释,”米斯金说。“你可以真正弄清楚它想做什么,因为你对底层机制有很好的把握。这有点独特,因为许多其他学习系统都是黑匣子,很难知道网络为什么会这样做。”

杜里安表示,他希望这“是一个巨大领域的开始”,并指出他实验室的另一位博士后劳伦· 奥特曼 (Lauren Altman ) 正在构建对比局部学习网络的机械版本。

研究人员目前正在致力于扩大设计规模,刘表示,关于记忆存储的持续时间、噪声的影响、网络的最佳架构以及是否存在更好的非线性形式,还有很多问题。

米斯金说:“随着学习系统的规模不断扩大,我们并不清楚会发生什么变化。想想大脑,你会发现,拥有 300 个神经元的蠕虫和人类之间存在巨大差异,而且这些能力从何而来,随着规模不断扩大,事情会如何变化,这些都并不明显。拥有一个可以不断扩大的物理系统,是一个真正研究这个问题的机会。”