SMR 为什么市场少见支持SMR硬盘的企业存储？请听我说

前言

我不知道支持SMR并不比支持固态硬盘更简单，甚至更复杂，所以市场上支持SMR的企业存储很少。如果你不相信我，请听我说。

SMR磁盘的诞生记录

为了突破存储介质的容量限制，SMR技术开始出现。所谓的SMR是带状磁记录的缩写。凭借其大容量、低功耗的特点，已经被AWS冰川、Google、Facebook等多家公有云厂商用作对象冷藏的存储介质。但由于企业存储中冷热数据混杂，数据访问方式和性能要求都高于公有云冷库，在企业存储中很少见到。

SMR磁盘的技术背景

大数据时代，数据量呈指数级增长。IDC预测，2025年全球数据量将达到163ZB，存储容量将超过19ZB，其中约58%将由HDD硬盘承载。硬盘驱动器的存储区密度受物理定律的限制。目前，用于硬盘的垂直磁记录技术即将达到其存储密度极限。该行业渴望引入新技术来克服限制，并继续稳步提高产能。

瓦片式磁记录磁盘是领先的下一代磁盘技术，它保持现有磁头和介质技术不变，通过像屋顶瓦片一样重叠磁道来实现存储区域密度的增加。

传统硬盘分为同心磁道，中间有一定间隔。磁头位于磁盘记录介质上方，写磁头和读磁头彼此独立。因为写入所需的磁场强度高于读取所需的磁场强度，所以写入头的宽度大于读取头的宽度，写入头的宽度也决定了每英寸磁盘的磁道数。

传统硬盘和SMR磁盘磁记录方式对比示意图

SMR磁盘利用读磁头和写磁头之间的宽度差，像瓦片一样重叠相邻磁道，并通过部分重叠前一磁道来写入数据，同时为较窄的读磁头留下足够的空来读取前一磁道的数据。与传统磁盘相比，SMR磁盘通过瓦片式写入在同一区域包含更多磁道，提高了存储区域密度，降低了磁盘单位存储容量的成本。但是由于这个特点，SMR磁盘只能按顺序写入大块，不能支持随机写入和更新写入，这就需要上层文件系统提供新的数据管理解决方案。

SMR圆盘的分类

SMR磁盘对写入的顺序限制可以由硬件端的硬盘本身或主机端的软件来管理。前者称为DM SMR，后者通过新的接口将SMR的内部组织结构暴露给上层软件。根据是否允许随机写入，可以细分为两类:如果SMR磁盘只允许上层执行顺序附加写入，而不允许随机写入，则称为HM SMR如果SMR磁盘没有严格限制随机写入操作，则称为HA SMR。

SMR圆盘的类型

下表总结了三个SMR磁盘的特征:

DM SMR是最容易使用的，现有的软件不需要任何修改就可以使用。但在随机写工作负载下，会出现数据迁移、垃圾收集等后台操作，导致SMR磁盘性能出现巨大波动；

Hmsmr需要大量的存储系统软件优化，但是这种方式可以最大化smr磁盘的性能；

HASMR是一种折中方案，使用起来最灵活，但也有性能波动的可能。

企业应用程序不同于互联网应用程序，尤其是视频监控服务，后者要求存储系统提供稳定且可预测的性能。

SMR磁盘在企业存储中的应用挑战

在公有云对象的冷藏中，几乎不涉及修改和写入，数据检索时间相对较长。例如，AWS冰川标准检索通常在3-5小时内完成。但是在企业应用场景中，数据读写还是以文件为主，可能会有更多的修改写入。读写的反应一般在ms水平。例如，在视频监控场景中，如果写入请求的平均延迟大于40毫秒，写入的视频数据将会丢失。

由于SMR磁盘的单盘容量巨大，目前SMR磁盘的单盘容量已经达到14TB，预计2018年下半年硬盘厂商将发布18TB的SMR磁盘，大约是主流企业市场使用的8TB SATA/NL_SAS磁盘的两倍。超大容量硬盘，万一出现故障。它的数据重建时间会很长。按照传统的企业存储，每TB数据的重建时间约为10小时，14TB SMR硬盘的重建时间为140小时。在此期间，如果其他硬盘出现故障，数据将会丢失。这对于企业应用是绝对不能接受的！

这些都给SMR磁盘在企业存储中的应用带来了额外的挑战，这就要求存储系统既能适应SMR磁盘的要求，又能在不改变用户使用习惯和性能要求的情况下提供高可靠性。基于这些要求，为了更好地利用SMR磁盘，我们不能简单地将其视为传统硬盘的替代品，而是要对整个存储堆栈进行调整和优化。从上层应用软件到底层驱动，需要对SMR磁盘提供的新接口进行适配，保证IO的顺序写入，防止竞争条件和IO紊乱，从而获得更高的性能和可靠性。

从上面可以知道，SMR磁盘是一种新的HDD介质，需要上层应用系统进行复杂的适配，就像你适配SSD一样。普通存储不能简单地用SMR硬盘代替原来的PMR硬盘，所以性能会很差，甚至不能工作。

最近，华为的OceanStor 9000在行业内率先支持14TB SMR硬盘。我们来看看是如何支持的。

华为OceanStor 9000选择技术难度最高的HMSMR硬盘，为企业应用提供稳定的性能。

OceanStor 9000通过各种技术为SMR磁盘提供强大的支持，逐一解决支持SMR磁盘的技术障碍。在适应SMR磁盘新接口的基础上，OceanStor 9000通过RoW重定向技术将修改后的写入转换为顺序写入，通过高效的GC、数据冷热分流和SMR磁盘写缓存优化技术保证SMR磁盘的读写性能，通过快速恢复和重建技术解决大容量SMR磁盘故障时的数据可靠性问题。

让我们来介绍一下海洋存储9000为支持SMR磁盘而采用的IO优化技术:

写时行重定向技术

▲RoW技术图

RoW技术是指在修改和写入数据时分配一个新的空空间，然后将指向数据的指针重定向到新打开的空空间，而不修改原始数据块。如上图所示，当文件系统的数据块B和C被修改时，文件系统直接分配两个新的块空，将修改后的内容写入其中，然后将指向数据的指针重定向到这两个新打开的块空，而不修改块B和C的数据..

与传统的文件系统相比，基于RoW技术的文件系统可以适应SMR磁盘的顺序，增加IO模型。基于RoW技术设计了OceanStor 9000的文件系统，进一步优化了SMR磁盘空之间的分配算法，完美适应SMR磁盘的顺序写入模式。

高效气相色谱技术

▲SMR磁盘垃圾收集示意图

由SMR磁盘上的连续磁道组成的连续可写区域称为区域，SMR磁盘根据区域管理数据，区域的大小通常约为256兆字节。由于SMR磁盘的区域只有在清除空后才能重写，垃圾收集是SMR磁盘上文件系统不可缺少的后台工作。垃圾收集的过程从根本上说是一个有效的数据复制和迁移的过程，其效率对整个系统的性能有很大的影响。如图3所示，为了释放分区X中被无效数据占用的空空间，需要将分区X中的有效数据移动到空空闲分区Y，形成一个连续的空空间，然后清除空分区X中的数据。

OceanStor 9000通过优化文件布局设计了一套高效的GC算法，合理选择GC对象的大小、位置和目的地距离，以及GC的定时、频率和并发次数，使GC收益最大化，有效控制GC开销，大大提高GC效率。同时，在达到预定性能规格的前提下，OceanStor 9000的GC reservation 空仅占用SMR磁盘1%的容量，有效提高了空之间的SMR磁盘利用率。

数据冷热分流技术

在整个生命周期中，SMR磁盘上的数据可能会经历由GC带来的多次数据迁移，这称为“写放大”。写入放大的一个重要原因是，不同生命周期的数据以混合方式存储在同一个恢复单元中，导致一部分数据有效，另一部分无效，然后需要将有效数据迁移到其他区域。因此，实现数据冷热分流、最小化数据写入放大因子和提高气相色谱效率是SMR磁盘优化的关键能力。

OceanStor 9000首先将文件系统的元数据与文件数据本身分开存储。在传统的日志结构文件系统中，元数据和文件数据是混合的。频繁更新的元数据和相对不变的文件数据的混合存储严重影响了文件系统的性能，也在一定程度上增加了写入放大系数。OceanStor 9000使用SMR磁盘上保留的一个小的常规区域来保留元数据，这有效地提高了SMR磁盘上元数据操作的性能。

其次，OceanStor 9000还可以对文件数据进行冷热拆分，分别存储。不同类型的文件数据可能有不同的生命周期。用户可以根据文件类型、目录和其他条件进行设置。OceanStor 9000可以根据上层设置的信息，尽可能在同一区域存储相同生命周期的数据。不同类型文件的修改频率是不同的。OceanStor 9000可以智能识别一些频繁修改的文件，并在GC期间将这些文件和很少修改的文件放在不同的区域，进一步降低数据的写入放大系数。

通过综合应用上述数据冷热分割技术和相应的数据放置策略，OceanStor 9000将写入放大系数降低了50%以上，并很好地控制了GC对SMR磁盘造成的写入放大效应。

快速恢复和重建技术

SMR磁盘的容量是传统磁盘的几倍。当系统出现故障时，如何快速恢复和重建SMR磁盘上的数据是一个非常具有挑战性的问题。

▲单盘故障快速数据恢复

OceanStor 9000本身可以支持分布式EC的数据保护模式，数据被分段到不同的存储节点和不同的硬盘上。如上图所示，当节点3上的硬盘2出现故障时，可以通过其他节点的数据对磁盘中的数据进行冗余计算，并行恢复到多个不同的硬盘上。与传统的RAID方式相比，数据恢复速度可提高10倍以上。

SMR磁盘写缓存优化技术

SMR磁盘通常具有超过256兆字节的大容量写缓存。打开写缓存对提高文件系统的性能起着非常重要的作用。但是，当硬盘断电时，存在写缓存中的数据丢失的风险。OceanStor 9000充分利用SMR磁盘的写缓存机制提高系统性能，通过分布式EC模式保证缓存数据丢失后数据的快速重建，通过数据事务机制保证整个系统的数据一致性，并妥善处理与SMR磁盘写缓存相关的各种新错误，从而达到性能和可靠性并重。

SMR圆盘的应用分析

OceanStor 9000主要将SMR磁盘应用于视频监控、归档、备份等场景，通常具有数据量大、大文件顺序写入、一次多次读取的特点。与使用8TB硬盘的行业通用方案相比，基于14TB SMR硬盘的OceanStor 9000方案可节省机房间40%空，能耗降低40%以上。

以卡塔尔哈马德机场视频监控项目为例，存储系统需要满足1.3万个视频的30天存储，比特率为2Mbps，可用容量需要9.36PB左右。如果采用8TB磁盘硬盘方案，应使用45个存储节点，4U，36个磁盘位置，总功耗为22.5KW基于每个节点500瓦的功耗；华为OceanStor 9000也使用4U和36磁盘的存储节点，但配备了14TB大容量SMR磁盘，只需要26个存储节点。由于14TB SMR硬盘的功耗和传统的8TB、10TB硬盘差不多，单个节点的功耗还是500w左右，总功耗在13KW左右。总体而言，14TB SMR硬盘方案中机房空设备数量减少44%，功耗降低42%。

▲基于哈马德机场需求预测的不同存储方案总拥有成本比较

摘要

OceanStor 9000在适应SMR磁盘新接口的基础上，通过Row写重定向、高效GC、数据冷热分流、快速恢复重建、SMR磁盘写缓存优化等一系列技术，解决大容量SMR磁盘在企业存储中的应用问题，帮助企业从容应对数据洪流挑战，进行数字化转型。

通过技术创新和存储全栈优化，华为存储致力于为用户提供更快、更好、更经济的产品和解决方案，与客户一起取得商业成功。

评论:

我们可以看到，SMR支持仍然非常复杂，特别是像闪存优化、垃圾收集、重定向写入、冷热数据分开存储以提高GC效率等等。这也是SMR在市场上很少用于企业存储的原因。然而，SMR的低功耗和大容量优势将使SMR支持的存储在总体拥有成本方面获得优势，并将得到用户的认可，成为市场的主流。