ourdev 体积减小60%！达特茅斯学院利用深度学习进行「图像压缩」

原始资料来源:arXiv

《湖世界》编译:嗯~阿童木，朵拉A亮

最近，我们研究了有损图像压缩的深层体系结构设计，然后在多级渐进编码器的背景下提出了两种体系结构方法，并通过经验证明了它们在压缩性能方面的重要性。具体而言，研究结果表明:(1)多级渐进结构中原始图像数据的残差预测便于学习，并且在逼近原始内容时导致性能的提高；(b)在执行压缩之前(从相邻图像像素)学习修复可以减少必须存储的信息，从而实现高质量的近似。如果将这些设计选择组合成一个参考渐进编码器，与原来的残差编码器相比，文件大小平均减少了60%以上，质量相当。

可以说，我们每天在网络上创建和共享的大部分信息都是可视化数据，这就产生了对存储和网络带宽的巨大需求。按照以往的习惯，只要内容没有明显的丢失，就要尽可能的压缩图像数据。近年来，随着深度学习的快速发展和广泛使用，设计用于学习图像数据的紧凑表示的深度模型成为可能。基于深度学习的方法，如Rippel和Bourdev，在性能上优于传统的有损图像压缩方法。在本文中，我们展示了如何提高用于训练有损图像压缩的深度模型的性能。

我们专注于生成渐进式代码的模型设计。渐进码是一组表示序列，可以通过添加缺失的细节来传输，以提高现有估计的质量(根据先前传输的码)。这与非逐行编码形成对比，在非逐行编码中，必须传输特定质量近似值的全部数据，然后才能查看图像。渐进式代码通过减少图像丰富的页面的加载时间来改善用户的浏览体验。本文主要研究成果包括以下两个方面:

1.尽管传统的渐进编码器被优化以压缩其结构的每一级的剩余输入(剩余输出),但是我们提出了一种模型，该模型被训练以预测每一级的前一级的剩余输入(剩余输出)的原始图像数据。研究结果表明，它将更容易优化和产生更好的图像压缩。与传统的残差编码器相比，最终的架构将再现类似质量图像所需存储的信息量减少了18%。

2.现有的深度体系结构没有利用由相邻面片显示的空的高度空间一致性。我们展示了如何通过学习现有内容中的修复来设计和训练一个可以利用相邻区域之间的依赖关系的模型。我们引入多尺度卷积，对内容进行多尺度采样以辅助恢复。我们训练了提出的修复和压缩模型，结果显示修复将必须存储的信息量减少了42%。

补救的影响

我们开始分析修复网络和其他方法在本地环境中的性能。我们将修复网络的性能与传统方法和基于学习的基线进行比较。表1显示了在修复柯达数据集中所有不重叠的补丁时，通过每种方法获得的平均结构相似性(SSIM)。

表1:1:柯达数据集部分上下文修补的平均SSIM。香草模型是一种没有多尺度卷积的前馈卷积神经网络。

香草网络对应于32层(是修复网络的4倍)模型，它不使用多尺度卷积(所有滤波器的扩展因子为1)，具有相同数量的参数，并以全分辨率运行(如我们的修复网络)。这表明修复网络在香草模型上的性能提高是使用多尺度卷积的结果。修复网络改进了传统的方法，因为我们的模型学习了传播内容的最佳策略，而不是使用人工传播的内容传播原理。香草网络的低性能表明自学习并不优于传统方法，多尺度卷积在实现更好的性能方面起着关键作用。

图1:(一)不同形式恢复的平均储蓄率。每种拟议方法在不同比特率下的图像质量。

由于复原提供了这一部分的初步估计，它永远不会产生完美的重建。这就引出了这个初始估计是否比没有估计好的问题。图1(a)中的表显示了有压缩和无修复的压缩任务的性能。这些结果表明，当用R2I模型训练修复网络时，文件大小减少最多。我们注意到(从图1(b))在较低和较高比特率下获得的结果质量通过修复得到了极大的改善。

为了强调联合训练的作用，引入了修复网和压缩网分开训练的基线。传统编码器采用简单的基于非学习的修复方法，其预定的表示方法不能紧凑地编码修复残差。学会单独修复会提高性能，因为修复后的估计比完全没有估计要好。然而，考虑到压缩模型没有被训练来优化压缩残差，为了实现高质量水平，比特率被降低很少。我们表明，通过联合训练，不仅可以训练出更好的修复模型，而且可以保证修复残差能够被紧凑地表达。

表2:与JPEG相比的平均储蓄率。柯达数据集计算的节省量是在0-1 bpp范围内测量MS-SSIM的率失真曲线。

结论和今后的工作

我们研究了一类“残差到图像”模型，表明在这类模型中，具有解码连接的体系结构比使用其他连接形式的设计更能逼近图像数据。我们观察到，我们的R2I解码连接模型在低比特率下表现不佳，我们展示了如何通过修复相邻块之间的空相干性来提高在低比特率下近似图像内容的性能。我们使用多尺度卷积设计了一个新的部分上下文修复模型，并证明了补充修复的最好方法是使用我们的R2I解码模型来联合训练修复网络。

这项工作的一个有趣的扩展是将熵编码结合到我们的渐进压缩框架中，以便训练产生低熵二进制代码的模型，并且可以更紧凑地表达。另一个可能的方向是将我们提出的框架扩展到视频数据，我们发现改进的压缩方法可能会获得更多。

论文下载:https://arxiv.org/pdf/1709.08855.pdf