Skoltech和圣彼得堡国立航空航天仪器大学的一个研究小组发表了一篇论文，其中他们开创了一种在采后阶段(即水果储存然后交付给客户)检测腐烂和发霉苹果的替代方法。计算机视觉系统将在早期阶段确定不同的缺陷，当时这些缺陷是人眼看不见的。该论文发表在《熵》杂志上。

计算机视觉和神经网络帮助检测农作物病害

尽管自动化普遍存在，但水果和蔬菜在采后阶段的质量，尤其是分级时，主要由人控制。产品交付时可能会腐烂或损坏。某些腐烂区域可能会被忽视或遗漏，而农业学家并不总是能够确定疾病或损害的类型。

研究小组利用苹果研究了两种类型的缺陷：腐烂和发霉。例如，如果苹果堆积得很密，它们就会相互碰撞，从而在这些区域腐烂得更快。霉菌是由于严重违反储存条件或在收获时被忽视而引起的。

为了检测缺陷，专家使用红外光，但据研究人员称，它需要多光谱和高光谱设备，这些设备非常昂贵，而且并不总是用户友好的。该研究旨在为这些相机提供一种替代方案，这些相机使用基于深度学习的模型来生成红外图像。作者强调，他们无意取代传统方法，只是试图提出一种更实惠、更创新的方式。

“我们采用了两种类型的神经网络：生成对抗网络和卷积神经网络。前者允许将一种类型的图像转换为另一种类型。在我们的例子中，我们从RGB中获取红外图像，即可见照片。但这还不足以检测该研究的主要作者、初级研究工程师NikitaStasenko表示：“生成对抗网络无法对图像进行分类，因此存在缺陷。在这里，卷积神经网络发挥了作用。它们有助于检测和分割照片中所需类别的对象。”在Skoltech的农业中心。

实验涉及几个阶段。该团队首先收集和处理可见图像的数据。为此，作者选择了4个不同品种的16个苹果。这些苹果经过不同的处理：未经处理的苹果、彻底清洗和擦拭的苹果、机械损坏的苹果以及-20°С以下过冷的速冻苹果。

“当我们收集数据时，我们检查了几种基于生成对抗网络的模型-Pix2Pix、CycleGAN和Pix2PixHD-并将生成的红外图像与原始图像进行比较。根据质量指标，Pix2PixHD生成的图像结果如下尽可能接近原著，”尼基塔·斯塔森科补充道。

第二阶段使用MaskR-CNN卷积神经网络。在之前的研究中，这个模型是最有效的。为了训练它，该团队从红外图像中收集了另一个数据集并对其进行了注释：他们标记了健康的苹果以及那些有腐烂和发霉区域的苹果。

在第三阶段，作者使用了JetsonNano——一种特殊的嵌入式系统，它允许运行经过训练的神经网络。未来，该系统将成为一种真正的农作物缺陷检测设备。此外，该团队还计划在其他类型的作物上扩展结果并测试其他神经模型。