爱名网-轻量级图像增采样器DySample:计算资源需求小,有效提升图像分辨率

ySample是一个超轻量级和有用的动态上采样器,是一种更简洁、更高效的办法,用于提高图像分辨率。相较于传统的CARAFE和SAPA办法,DySample对核算资源的需求更小,能够在不增加额定负担的情况下完成图像分辨率的提高。
image.png
项目地址:https://github.com/tiny-smart/dysample
尽管最近的基于内核的动态上采样器如CARAFE、FADE和SAPA取得了令人印象深入的功能提高,但它们引入了很多的工作量,主要是因为时刻耗费大的动态卷积和用于生成动态内核的额定子网络。(爱名网) 此外,FADE和SAPA对高分辨率特征的需求在必定程度上限制了它们的使用场景。
为了处理这些问题,研究人员绕过了动态卷积,并从点采样的角度来表述上采样,这更加节省资源并可以用PyTorch中的规范内置函数轻松完成。
与之前的基于内核的动态上采样比较,DySample不需要自定义的CUDA包,并且参数、FLOPs、GPU内存和延迟都要少得多。
除了轻量级的特点之外,DySample在五个密布预测使命(语义切割、方针检测、实例切割、全景切割和单目深度估量)中都优于其他上采样器。DySample的使用领域也更广泛,可以适用于各类图像处理使命,有用提高图像处理的功率和质量。