使用超分辨率机器学习模型增强卫星图像的可读性

近年来，卫星图像的格局发生了翻天覆地的变化，质量和可访问性的大幅提升使这些图像对从农业到城市规划的各个部门都必不可少。然而，即使有可用的最高分辨率图像，分析人员也经常在解释方面遇到问题，希望多处理几个像素。

AI 终于提供了一个解决方案：新的**超分辨率 (SR)**模型，它可以帮助将卫星图像的清晰度提升到一个新的水平。

超分辨率虽然在技术上没有提高数据的实际分辨率，但有可能显着提高卫星图像的视觉质量，有效地创建高清 (HD) 图像。在商业环境中，SR 已被用于将图像从 30cm 到 15cm 分辨率或 50cm 到 30cm 分辨率细化。有些人甚至冒险增强低分辨率开源数据，例如将 European Sentinel-2 10m 数据提高到令人印象深刻的 2.5m 分辨率。更重要的是，这种增强可以应用于所有光谱带。

图片来自 Maxar

尽管它的名称如此，但超分辨率的改进主要是美学上的。通过生成额外的像素，SR 细化对象的边缘并人工重建细节，增强图像的整体视觉清晰度和可读性。但是，SR 不会公开任何最初未捕获的隐藏数据。例如，如果一个对象不存在于原始数据中，SR 将不会在增强图像中显示它。因此，虽然 SR 图像可能包含比其低分辨率图像更多的像素，但地面采样距离 (GSD) 保持不变。

尽管有这些限制，超分辨率技术的出现正在为各行各业开启无数新的可能性和实际应用。随着技术的不断发展，其革新卫星图像及其应用的潜力无疑将达到更高的高度。

它是如何工作的，它是如何在卫星图像中实现的？

超分辨率的概念并不是卫星图像独有的。它现在是一个相当广泛可用的机器学习任务，用于放大和改善图像中的细节；从低分辨率输入创建高分辨率输出，通常用于美学目的。通过将算法应用于低分辨率图像，可以填充缺失的细节，从而在保持或提高视觉质量的同时提高分辨率。当然，原始输入分辨率越高，SR 图像的结果越好。SR 特别擅长创建精确的边缘和增强长线性特征。

图片来自 UP42

AI 超分辨率模型使用深度学习技术，算法在包含成对的高分辨率和相应的低分辨率图像的大型数据集上进行训练。这个过程教会模型识别图像中缺少哪些数据，以及如何重建它。

这些 AI 模型最常见的架构是一种称为卷积神经网络 (CNN) 的神经网络，它专为处理网格状数据（例如数字图像）而设计。使用这种方法，图像通过多个过滤器处理，包括卷积层和池化层，它们能够提取高级特征和纹理，从而使模型能够识别复杂的模式。

该模型还经过训练以最小化 SR 输出与真实高分辨率图像之间的差异。这是使用损失函数（例如均方误差或感知损失）完成的，并鼓励模型生成既美观又准确的重建图像。

将 SR 应用于卫星数据时会出现其他挑战。传统的超分辨率算法是在 RGB 图像上开发的，但要使用卫星图像，它们需要在多光谱或高光谱数据上进行训练，这些数据可能有几十个波段。大气条件是需要克服的额外障碍，并且可能会被 AI 模型误解。

著名的超分辨率方法和产品

尽管面临挑战，但市场上已经有几款利用 SR 技术的著名产品，每款产品都采用尖端的机器学习技术，为分析师提供增强的细节和可读性。

一个这样的例子是UP42 的基于 CNN 的 SR 模型**，**这是一种在训练中使用多光谱和全色锐化图像对（而不是缩小图像）的算法。UP42 的模型可以将 Pléiades 和 SPOT 图像的分辨率提高四倍，并且可以在其市场上买到。

另一个例子来自韩国公司Nara Space，该公司开发了一种超分辨率算法，可将 Pléiades Neo 图像的可读性从 30 厘米提高到 10 厘米。空中客车公司本身提供具有 15cm 增强分辨率的Pléiades Neo HD15产品。

Maxar 的高清技术也取得了巨大的成功，生成的15 厘米 SR 图像在国家图像可解释性量表 (NIIS) 中始终保持在 6-7 分。（NIIS 是图像分析人员用来对航拍图像质量进行 0-9 分的主观评分，例如，基本土地使用在 1 分时可以理解，汽车牌照在 8 分时可以看懂）。

图片来自 Maxar

超分辨率模型在卫星影像中的优势和应用

卫星图像中的 SR 模型为多种应用提供了机会，包括制图、监测、特征识别和分析。通过增强视觉体验和减少像素化，这些模型为分析师提供了可操作的信息，使他们能够辨别地面上更小的特征，从而有助于做出更好的决策。

在城市规划中，SR 可以更精确地识别特征，并在识别灯柱、太阳能电池板、路标和车辆等较小物体时显着降低错误率。基础设施状况的增强图像可能证明有利于资产监控和灾难管理。SR 模型不仅有助于计算特征，还可以增强植被和树冠的纹理信息，这在农业和气候监测中有应用。

还值得一提的是，SR 对新图像和存档图像都有好处。首先，它可以通过改进低分辨率存档数据以匹配新收集的 30 厘米原始数据来帮助增加 30 厘米图像的全球供应。与此同时，为最高分辨率的卫星分配任务通常非常昂贵，而 SR 模型可以为广泛的应用提供具有成本效益的替代方案。事实上，卫星数据增强到15cm 时的可读性变得非常接近 10cm 的航空数据。在某些用例中，SR 卫星图像数据可以取代航空数据——成本只是其中的一小部分。

SR 模型的一个特别重要的优势是它们能够提高应用于卫星数据**的其他 AI 模型的准确性。**例如，Maxar 的早期测试表明，在处理经过 SR 增强的图像时，检测汽车的机器学习模型的准确性提高了 15-40%。在某些情况下，SR 模型甚至比原生 30 厘米数据具有更高的可解释性——特别是关于线性特征和重建地面或车辆上的标记。

超分辨率：克服挑战以提供更可靠的地理空间数据

虽然超分辨率模型具有一系列优势，但在卫星图像中实施它们并非没有挑战。除了模型准确性的主要问题外，其他技术限制也可能带来重大挑战，因为将 SR 机器学习模型应用于卫星数据可能需要大量的处理能力和数据存储。道德和法律考虑，包括隐私问题和数据使用限制，还必须解决，同时将超分辨率模型与现有工作流程和系统集成可能会变得复杂且耗时。所有这些挑战都可能会阻碍 SR 在某些应用程序中的采用；然而，随着像 Maxar 这样的主要卫星公司和像 UP42 这样的市场都在努力克服这些困难，超分辨率卫星图像正在成为现实。

超分辨率机器学习模型提供了一种创新解决方案，可增强人类分析师和人工智能对卫星图像的可读性，为各种应用提供更高质量的数据。它们在改进决策制定和AI 性能方面的潜在优势使它们成为分析师工具箱中极具价值的补充，并且对于许多客户而言，它们可能是原生 30 厘米甚至 10 厘米航拍数据的经济高效替代方案。随着技术的不断进步，我们可以期待超分辨率技术的进一步改进及其在卫星图像中的应用，为更可靠的地理空间数据铺平道路。