作者：十九
编辑：李宝珠，三羊
超分辨率能够克服或补偿由于图像采集系统、采集环境本身限制而导致的成像模糊、图像质量低下等问题，提升图像分辨率，为特征提取、信息识别等图像的后续处理提供重要支持。
2010 年 12 月，清华大学电子工程系教授苏光大接到一通不寻常的电话，内蒙古自治区准格尔刑警队的警员拿着一张模糊不清的犯罪嫌疑人人脸图像，向苏光大寻求帮助。
「这张图像是由路边的监控摄像头拍摄的，像素非常低，肉眼完全无法辨认。」苏光大回忆道，当时他利用超分辨率技术，将这张模糊的图像放入他们研发的软件中进行了重建，准格尔警方依据重建后的高清晰度图像，很快便锁定了嫌疑人，并破获了这起凶杀案。
事实上，该案件并非个例。警方在侦破案件时，通过监控摄像头可以得到犯罪嫌疑人相关图像，加快破案速度。然而，监控摄像头拍摄的照片放大后常常出现细节模糊的问题，这大大降低了警方获取关键证据的效率。
随着超分辨率技术的发展，这些问题迎来了转机并逐渐被解决。
本文将从概念入手，介绍超分辨率的主流算法及其优缺点，并展示了其在公共安防、医学诊断、卫星遥感、数字娱乐等不同场景下的应用。此外，HyperAI超神经官网已经上线了大批超分辨率相关的公共教程与公开数据集，欢迎上手体验！
什么是超分辨率？超分辨率 (Super-Resolution, SR)，简单来说，就是将低分辨率 (low resolution, LR) 的图像通过算法提升到高分辨率 (high resolution, HR)。相较于低分辨率图像，高分辨率图像拥有更大的像素密度和更丰富的纹理细节，具备更高的可信赖度。
图源：SUPIR 官网
这种技术可以克服或补偿由于图像采集系统或采集环境本身的限制而导致的成像模糊、图像质量低下等问题，在特征提取、信息识别等图像的后续处理上提供了重要支持。
超分辨率算法分类目前，超分辨率方法主要分为三类：基于插值的方法、基于重构的方法和基于学习的方法。
* 基于插值的方法
插值法通过在图像原有的像素周围插入新像素来加大图像的尺寸，并给这些像素赋值，从而恢复图像内容，达到提高图像分辨率的效果。
*像素：组成图像的最基本单元要素，即点，每个像素点都有自己的颜色值，单位面积上像素点越多，图片越清晰。
* 基于重构的方法
基于重构的超分辨算法，通常是用多幅在同一场景下拍摄的低分辨率图像作为输入，然后对这些图像的频域或空域关系进行分析，通过引入先验信息对重建过程进行指导和约束，进而重建得到单张高分辨率图像。
*频域：是指信号在频率域上的特征。
*空域：是指信号在空间上的分布情况。
*先验信息：这种信息是在「试验之前」就已有的，一般可理解为领域知识。
* 基于学习的方法
基于学习的超分辨率方法，通常是利用大量的训练数据，通过学习低分辨率图像和高分辨率图像之间的映射关系，预测低分辨图像中丢失的高频细节信息，从而生成超分辨图像。
基于浅层学习的方法主要包括机器学习、流形学习、样本学习和稀疏编码等，可用于数据量较小的情况。
基于深度学习的方法可以分为基于卷积神经网络的 SR 方法、基于残差网络 (residual network, ResNet) 的 SR 方法和基于生成对抗网络 (generative adversarial networks, GAN) 的 SR 方法。
基于深度学习的超分辨率重建算法网络结构
图源：法信网
上述三种方法的优缺点如下：
来源：HyperAI超神经
现如今，深度学习已经成为超分辨率领域的主流方法。
2014 年，Dong 等人首次将深度学习应用于图像超分辨率重建领域，提出了 SRCNN (Super-Resolution Convolutional Neural Network) 网络模型，该成果以「Image Super-Resolution Using Deep Convolutional Networks」为题发表于 arXiv 上。自此，超分辨率重建领域掀起了深度学习的浪潮。
论文地址：
https://arxiv.org/pdf/1501.00092
SRCNN 网络结构
SRCNN 作为最早将深度学习方法应用于图像超分辨率的模型，仅仅使用了 3 个卷积层，便取得了远超传统方法的 PSNR 值。
具体而言，输入低分辨率图像，用双三次插值法 (Bicubic interpolation) 将图像放大至目标尺寸，然后用 3 层卷积神经网络拟合低分辨率图像跟高分辨率图像之间的非线性映射，最后输出重建后的高分辨率图像。
*PSNR 值：峰值信噪比，该数值越大，输出的 HR 图像质量越好。
SRCNN 凭借其简单、高效的优势，成为了图像超分辨率领域的重要里程碑。自此之后，从早期基于卷积神经网络 (CNN) 的超分辨率技术，到近期的基于生成对抗网络的技术，基于深度学习的超分辨率技术得到了快速发展。
深度学习+超分辨率：从公共安防到数字娱乐的多元应用需求推动技术发展，技术迭代助力应用落地。现如今，超分辨率技术在公共安防、医学诊断、卫星遥感和娱乐媒体等领域都得到了广泛的应用。
* 公共安防领域
公共监控录像受天气和距离等因素影响，画面常模糊且分辨率低。应用超分辨率技术可以帮助警察提取清晰的人脸、车牌号等关键信息，有助于案件侦破。
吉林警察学院的封顺利用 ESRGAN 和 BSRGAN 网络，针对不同环境下的人像和自然景物进行了分析，探索了超分辨率技术在公安和法庭中的应用可行性。
该成果以「图像超分辨率重建技术在警务工作中的应用」为题，发表在《武警学院学报》中。
论文地址：
https://www.faxin.cn/lib/Flwx/FlqkContent.aspx?gid=F805122&libid=040106
首先，研究人员对 ESRGAN 和 BSRGAN 模型进行复现、训练和测试，得到最佳模型参数。然后，使用训练好的模型对采集的人像、自然景物等低质量图像进行超分辨率重建，得到 ESRGAN 和 BSRGAN 的重建结果。
人像低质量图像重建比对
研究人员将 ESRGAN 和 BSRGAN 的重建图像与原始图像进行对比。结果表明，在正面、具有倾斜角度和复杂场景中重建后的人像在视觉质量和保真度上都有很大提升。
自然场景低质量图像重建对比
在自然场景的对比中，BSRGAN 重建效果要优于 ESRGAN，能够有效去掉原始低质量图像未知的复杂噪声，可以生成清晰的边缘和精细的细节。
* 医学诊断领域
由于成像设备限制和复杂的临床环境，医学领域所获取的影像常常存在分辨率不足的问题，这直接影响了医生对疾病的准确诊断与治疗决策。
改进 SRGAN 的结构
四川人民医院彭博等人以针对自然图像超分辨率重建的生成对抗网络 (SRGAN) 作为基本方法，通过减少 2 个输入通道、删除 1 个残差块对该网络的结构进行更改，改进网络损失函数，新增模糊处理数据集，重建出放大 4 倍的边缘清晰、没有伪影的医学超声图像。
该成果以「基于生成对抗网络的超声图像超分辨率重建」为题，已发表在 Journal of Terahertz Science and Electronic Information Technology 上。
论文地址：
http://www.iaeej.com/xxydzgc/article/abstract/202305015
Case1 重建结果感兴趣区域比较
Case2 重建结果感兴趣区域比较
研究人员将改进的 SRGAN 与其他 3 种算法进行比较。结果表明，改进 SRGAN 的重建结果整体平滑，纹理边缘更清晰。
* 卫星遥感领域
近年来，遥感卫星图像在环境监测、资源勘探、灾害警报和军事等领域得到了广泛应用。然而，大气变化、传输噪声、运动模糊和欠采样光学传感器等因素严重制约了遥感卫星图像的清晰度。超分辨率技术通过处理和提升低分辨率图像，可以提高卫星遥感数据的质量和可用性。
基于局部群目标辅助的遥感图像超分辨率重建算法流程
哈尔滨工业大学阎菩提等人将遥感图像局部聚集群目标区域的细节特征信息，引入到完整遥感图像的采样重建中，通过多层级的神经网络提取不同尺度的图像特征，并通过残差学习的方式将这些特征进行融合并重建。该方法可以借助局部图像的像素信息，显著提高全局遥感图像的细节效果，优化集群目标区域的分辨能力。
该成果以「结合局部高清图像的遥感集群目标区域超分辨率重建」为题，已发表在南京航空航天大学学报上。
论文地址：
https://jnuaa.nuaa.edu.cn/njhkht/article/html/202306002
与基线方法的可视化对比
研究展示的对比图显示，该方法在可视化效果上显著优于其他现有方法，适用于城市和野外场景，表现出较好的效果。
* 数字娱乐领域
动漫由多张静止的画面连接而成，其静止图片分辨率将会影响最终动漫的清晰度。然而，现有的手绘或数字绘制无法保证初稿的高分辨率，这对于用户的视觉体验相当不友好。通过应用超分辨率技术，将这些低分辨率的画面转换成更高分辨率画面，能够呈现出更多的细节和纹理，可以使动漫作品的图像更加生动和逼真。
B 站就曾推出了一个名为 Real-CUGAN (Real Cascaded-U-Net-style Generative Adversarial Networks) 的动漫画质修复模型。
首先，研究人员利用该模型对动漫帧进行切块处理，使用图像质量打分模型对候选块进行打分过滤，最终得到一个百万级的高质量动漫图像块训练集。
然后，通过多阶段降质算法，将高清图像块降采样得到低质图像，让模型学习、优化从低质图像到高质图像的重建过程。训练完成后，模型即可对真实的二次元低质图像进行高清化处理。
不同算法对比图如下：
超分辨率开源数据集和教程目前，HyperAI超神经的官网上线了大量超分辨率资源，包括公开教程与数据集。
* 公共教程
1.APISR 动漫图像超分辨率增强器
APISR 是一个用于提升动漫图像及视频分辨率的开源项目，可恢复和增强低质量、低分辨率的动漫图像和视频源，处理各种图像退化问题（模糊、噪声、压缩伪影等）。
在线运行地址：
https://hyper.ai/tutorials/31383
2.SUPIR-AI 图像修复教程
SUPIR 可以将低分辨率图像放大到高分辨率，同时保持图像的细节和真实感，处理各种复杂的退化情况。
在线运行地址：
https://hyper.ai/tutorials/30940
3.使用潜在扩散进行图像超分辨率
该教程为大家展示如何使用 diffusers 库来使用潜在扩散图像超分辨率模型。
在线运行地址：
https://hyper.ai/tutorials/26207
4.使用高效子像素 CNN 实现图像超分辨率
该教程在 BSDS 500 数据集上使用高效子像素模型实现了超分辨率。
在线运行地址：
https://hyper.ai/tutorials/25044
* 公开数据集
1.MSU 超分辨率数据集
该数据集包含室内和室外视频以及动画，所有视频有较低的 SI/TI 值和简单纹理。旨在最大限度减少可能发生的压缩失真，恢复细节。
直接使用：
https://hyper.ai/datasets/20401
2.MSU 视频超分辨率数据集
该数据集用于视频超分辨率任务，包含细节修复任务中最复杂的内容：人脸、文本、二维码、车牌号、未显示图案的纹理、小细节。视频包括不同类型的运动以及不同类型的弱化：双三次插值 、高斯模糊和下采样。
直接使用：
https://hyper.ai/datasets/17212
3.DRealSR 超分辨率图像数据集
该数据集是关于真实图像退化过程的超分辨率图像数据集，缓解了传统模拟图像退化的局限性。数据集涵盖室内和室外场景，如广告海报、植物、办公室及建筑物等。
直接使用：
https://hyper.ai/datasets/20446
4.TextZoom 超分辨率数据集
该数据集由成对的低分辨率（LR）和高分辨率（HR）图像组成。这些图像是由不同焦距的相机在野外拍摄。每一个图像对都有区分大小写的字符串（包括标点符号）的标注、边界框类型和原始焦距。
直接使用：
https://hyper.ai/datasets/19550
5.SR-RAW 图像超分辨率数据集
该数据集包含 RAW 传感器数据，有用高光学变焦级别拍摄的 ground truth 高分辨率图像。其中，每个序列包含 7 个（少数包含 6 个）由不同焦距拍摄的图像。
直接使用：
https://hyper.ai/datasets/19743
6.Set5，Set14 低复杂度单图像超分辨率数据集
这是一个基于非负邻域嵌入的低复杂度单图像超分辨率的数据集，该训练集被用于单幅图像超分辨率重构，根据低分辨率图像重构出高分辨率图像以获取更多的细节信息，被广泛应用于计算机视觉与图形学、医学成像、安全监控等领域。
直接使用：
https://hyper.ai/datasets/5382
7.DIV2K 单图像超分辨率数据集
该数据集包含 1000 张具有不同退化类型的低分辨率图像，可用于通过低分辨率图像重建高分辨率图像。
直接使用：
https://hyper.ai/datasets/15624
8.S2-NAIP 美国超分遥感数据集
该数据集包含美国大陆地区的 NAIP 和 Sentinel-2 成对影像。在地表监测、资源管理和环境变化评估等方面，提供了高精度的数据支持。
直接使用：
https://hyper.ai/datasets/30427
9.Sun-Hays 80 Dataset 超分辨率图像数据集
该数据集利用全局场景描述在图像数据库进行相关场景的比对和查找，场景提供了理想的示例纹理以约束图像采样的问题。
直接使用：
https://hyper.ai/datasets/5391
10.Urban100 超分辨率重建数据集
该数据集包含了具挑战性的城市景色，具有不同频带的细节。对真实图像利用双三次插值进行降尺度可以得到 LR/HR 图像对，以得到训练和测试数据集。
直接使用：
https://hyper.ai/datasets/5385
以上就是 HyperAI超神经官网上的超分辨率资源汇总，如果大家看到优质项目，欢迎后台留言推荐给我们！另外，我们还建立了教程交流群，欢迎小伙伴们入群探讨各类技术问题、分享应用效果~