神经形态相机和机器学习辅助纳米级成像

在一项新研究中，印度科学研究所(IISc)的研究人员展示了一种受大脑启发的图像传感器如何能够超越光的衍射极限来检测微小物体，例如当前显微镜不可见的细胞成分或纳米粒子。他们的新技术将光学显微镜与神经形态相机和机器学习算法相结合，在精确定位小于50纳米的物体方面向前迈出了重要一步。结果发表在NatureNanotechnology上。

自光学显微镜发明以来，科学家们一直在努力超越称为衍射极限的障碍，这意味着如果两个物体小于一定尺寸(通常为200-300纳米)，则显微镜无法区分它们。

他们的努力主要集中在修改被成像的分子，或开发更好的照明策略——其中一些获得了2014年诺贝尔化学奖。“但实际上很少有人尝试使用检测器本身来尝试并超过这个检测极限，”IISc神经科学中心(CNS)副教授、该研究的通讯作者DeepakNair说。

测量大约40毫米(高)乘60毫米(宽)乘25毫米(直径)，重约100克，研究中使用的神经形态相机模仿人类视网膜将光转化为电脉冲的方式，并且具有多项优势传统相机。在典型的相机中，每个像素在相机聚焦于物体的整个曝光时间内捕获落在其上的光的强度，并且所有这些像素汇集在一起​​以重建物体的图像。

在神经形态相机中，每个像素独立且异步地运行，仅当落在该像素上的光强度发生变化时才会生成事件或尖峰。与传统相机相比，这会生成稀疏且数量较少的数据，传统相机以固定速率捕获每个像素值，而不管场景是否有任何变化。

神经形态相机的这种功能类似于人类视网膜的工作方式，并允许相机以更高的时间分辨率“采样”环境——因为它不像普通相机那样受到帧速率的限制——并且还可以执行背景抑制。

“这种神经形态相机具有非常高的动态范围(>120dB)，这意味着你可以从非常低光的环境转到非常高光的条件。异步性质、高动态范围、稀疏数据的结合，神经形态相机的高时间分辨率使它们非常适合用于神经形态显微镜，”IISc电子系统工程系(DESE)助理教授兼合著者ChetanSinghThakur解释道。

在当前的研究中，该小组使用他们的神经形态相机通过在高强度和低强度下照射激光脉冲并测量荧光水平的变化来精确定位小于衍射极限的单个荧光珠。随着强度的增加，相机将信号捕获为“ON”事件，而当光强度降低时，将报告“OFF”事件。来自这些事件的数据汇集在一起​​以重建帧。

为了准确定位框架内的荧光粒子，该团队使用了两种方法。第一个是深度学习算法，在大约150万个图像模拟上训练，这些图像模拟非常接近实验数据，以预测物体的质心可能在哪里，CNS前研究实习生和第一作者RohitMangalwedhekar解释道。学习。还使用小波分割算法来分别为ON和OFF事件确定粒子的质心。结合两者的预测，团​​队可以比现有技术更准确地归零物体的精确位置。

“在像自组织这样的生物过程中，你有分子在随机或定向运动之间交替，或者是固定的，”奈尔解释道。“因此，你需要有能力以尽可能高的精度定位这个分子的中心，这样我们才能理解允许自组织的经验法则。”

该团队能够使用这种技术密切跟踪在水溶液中自由移动的荧光珠的运动。因此，这种方法可以广泛应用于精确跟踪和理解生物学、化学和物理学中的随机过程。