HVD 业界 | 详解Horovod：Uber开源的TensorFlow分布式深度学习框架

选自Uber

参与:李泽南、薛璐

Horovod是Uber开源的另一个深度学习工具。其开发吸收了Facebook的“一小时培训ImageNet论文”和百度的Ring Allreduce的优势，可以帮助用户实现分布式培训。本文将简要介绍这一框架的特点。

近年来，深度学习在图像处理、语音识别和预测方面取得了很大进展。在优步，我们已经将深度学习应用到公司的业务中，从自动驾驶路线搜索到欺诈预防。深度学习使我们的数据科学家和工程师能够为用户提供更好的体验。

TensorFlow已经成为优步首选的深度学习库。因为这个框架是使用最广泛的开源深度学习框架，所以对新开发者非常友好。它结合了高性能和低级别的模型细节调试能力——比如我们可以使用Keras这种高级API，也可以使用我们自己定制的英伟达CUDA工具。此外，TensorFlow还为各种深度学习用例提供端到端支持，从实验探索到生产级模型的部署，再到云服务器、移动应用，甚至自动驾驶汽车。

上个月，优步工程部推出了米开朗基罗，这是一个内部机器学习服务平台，可以轻松地将机器学习部署到大规模系统中。本文中，优步介绍了米开朗基罗深度学习工具包(Michelangelo Deep Learning Toolkit)的重要开源组件Horovod，它可以使分布式TensorFlow深度学习项目更容易实现。

分布式的

随着Uber在TensorFlow上训练越来越多的机器学习模型，项目对数据和计算能力的需求也在快速增长。在大多数情况下，模型可以在单个或多个GPU服务器上运行，但随着数据集和训练时间的增加，训练有时需要一周甚至更长时间。因此，优步工程师不得不寻求分布式培训方法。

优步开始尝试部署标准分布式TensorFlow技术。测试了一些方法后，开发人员意识到原来的方法需要调整。首先，在遵循文档和代码示例之后，我们并不总是清楚哪些函数对应于哪些模型训练代码的分布式计算。标准分布式TensorFlow引入了许多新概念:工作线程、参数服务器、tf。服务器()，tf。ClusterSpec()，tf.train.SyncReplicasOptimizer()，TF . train . replicas _ device _ setter()等等。在某些情况下，它们可以优化，但它们也使我们很难诊断出减慢训练的bug。

第二个问题是关于Uber秤的计算性能。经过一些基准测试，我们发现标准的分布式张量流机制不能满足要求。例如，在使用128个GPU进行训练时，由于效率低下，我们损失了一半的计算资源。

图5: Horo VOD时间轴描述了Chrome的跟踪事件剖析工具中分布式训练过程中的高层时间轴。

张量融合

在分析了几个模型的时间线后，我们发现有大量张量的模型，如ResNet-101，有许多小的allreduce运算。以前我们注意到，当有足够多的张量时，环allreduce可以最大限度地利用网络，但它的效率和速度不如张量较少时。那么问题来了:如果在对张量进行环全导出之前，融合多个小数量会发生什么？

答案是:张量融合，一种在执行Horovod的环所有之前融合张量的算法。利用该方法进行实验，发现运行在非优化传输控制协议(TCP)网络上的多层模型的性能提高了65%。我们简要介绍了如何使用张量融合:

1.确定要减少哪些向量。首先选择几个数据类型相同的张量，适用于缓冲区。

2.为未分配的张量分配融合缓冲区。默认融合缓冲区大小为64 MB。

3.将所选张量的数据复制到融合缓冲区。

4.对融合缓冲液执行所有操作。

5.将融合缓冲区中的数据复制到输出张量。

6.重复，直到循环中没有张量需要减少。

我们使用Horovod、Tensor Fusion和其他建立在米开朗基罗平台上的特性来提高机器学习系统中模型的效率、速度和易用性。在下一部分中，我们将分享真实世界的基准来展示Horovod的性能。

Horovod基准

图6:在25GbE TCP上使用不同数量的NVIDIA Pascal GPU时，将标准分布式TensorFlow和Horovod运行分布式训练工作处理的图像数量与ResNet-101 TensorFlow模型进行比较。

经过调整后，我们重新运行了适用于Horovod的官方张量流基准，并与传统分布式张量流的性能进行了比较。如图6所示，Horovod的能力得到了极大的提升，我们不再浪费一半的GPU资源。事实上，使用盗梦空间V3和ResNet-101模型进行缩放可以实现88%的计算效率。也就是说训练速度是标准分布式TensorFlow的两倍。