随着越来越多的高科技系统暴露在太空环境中，太空天气预报可以为这些设备提供更好的保护。在太阳系中，空间天气主要受太阳风条件的影响。太阳风是一股超音速等离子带电粒子流，在经过地球时会引发地磁风暴，影响短波通信，并威胁电力和石油基础设施的安全。

准确预测太阳风速，可以让人们做好充分的准备，避免资源浪费。大多数现有方法仅使用单模态数据作为输入，没有考虑不同模态之间的信息互补性。天津大学智能与计算学院的谢宗夏在近期发表于Space:Science&Technology的一篇研究论文中，提出了一种在统一的端到端框架中联合学习视觉和序列信息的多模态预测(MMP)方法用于太阳风速预测。

首先，作者介绍了MMP的整体结构，包括一个视觉特征提取器Vmodule，一个时间序列编码器Tmodule，以及一个Fusion模块。接下来介绍Vmodule和Tmodule的结构。图像数据和序列数据分别由Vmodule和Tmodule处理。Vmodule使用预训练的GoogLeNet模型作为特征提取器来提取极紫外(EUV)图像特征。

Tmodule由卷积神经网络(CNN)和双向长短期记忆(BiLSTM)组成，用于编码序列数据特征以辅助预测。包括一个多模态融合预测器，允许特征融合和预测回归。从两个模块中提取特征后，将两个特征向量连接成一个向量进行多模态融合。预测结果是通过多模态预测回归器获得的。应用多模态融合方法实现信息互补，提高整体性能。

然后，为了验证MMP模型的有效性，作者进行了一些实验。实验采用了太阳动力学观测站(SDO)卫星观测到的EUV图像和在拉格朗日点1(L1)测量的OMNIWEB数据集。作者对2011年至2017年的EUV图像和太阳风数据进行了预处理。

由于时间序列数据在时间维度上具有连续性，作者将2011-2015年的数据作为训练集，2016年的数据作为验证集，2017年的数据作为测试集。随后，描述了实验装置。作者微调了在ImageNet数据集上预训练的GoogLeNet，以提取EUV图像特征。

使用均方根误差(RMSE)、平均绝对误差(MAE)和相关系数(CORR)等指标进行比较，以评估模型的连续预测性能。RMSE的计算方法是取观测值与预测值之差的算术平均值的平方根。

MAE表示预测值和观测值之间的绝对误差平均值。CORR可以表示观察到的和预测的序列之间的相似性。此外，采用Heidke技能评分来评估模型是否能够准确捕捉太阳风峰值速度。

对比实验表明，MMP在许多指标上都取得了最佳性能。此外，为了证明MMP模型中各个模块的有效性，作者进行了消融实验。可以看出，移除Vmodule导致实验结果下降，尤其是对于长期预测。与移除Vmodule相比，移除Tmodule对短期预测的影响更为显着。

作者还比较了不同预训练模型的性能，以验证它们捕捉图像特征的有效性，发现GoogLeNet获得了最多和最好的度量结果。此外，还进行了超参数比较实验，验证了我们模型参数选择的合理性。

最后，作者提出了未来工作的几个有希望的方向。首先，未来的研究将侧重于不同模态对绩效的影响，为不同模态分配不同的权重，并利用它们的互补关系来提高绩效。其次，所提出的模型不能很好地捕捉高速太阳流，这对于应用来说非常困难但必不可少。因此，作者将专注于如何改进未来的峰值预测。