Lustre 从HPC到大数据：戴尔-Intel Lustre存储解决方案

介绍在北京举行的2015 LUG(Lustre用户组)大会上，戴尔公司高性能计算技术顾问凌先生以“戴尔/英特尔Lustre高性能计算存储解决方案”为主题发表了演讲。在这篇文章中，边肖截取了演讲的一些精华，并补充了一些自己的理解和知识。希望对大家有帮助。Lustre并行文件系统的优势和挑战

根据上图，IDC 2014年5月的统计数据显示，50%的高性能计算存储使用Lustre文件系统，GPFS和NFS的份额分别为21%和17%。2013年，Lustre还在另一家分析机构的存储管理软件调查中排名第一。

开源Lustre不仅是一个分布式文件系统，也是一个并行文件系统。其优点包括提供一个单独命名的空房间；可以增加节点数量来扩展容量和性能，支持在线扩展；支持多个客户端并发读写，通过分布式锁机制保证数据一致性。

有人说，一个与开源相关的名词在折腾。作者早就听说Lustre对设计、部署、调优的技术要求很高；其实其他一些文件系统(甚至商业文件系统)也是类似的，用起来不难，但是用好就不容易了。如上所示，挑战可能包括应用程序设计、工作负载模型、网络带宽、IO模型(主要影响元数据性能)、OSS(对象存储服务器)和LUN负载平衡、故障转移和I/O优化。那么对于Lustre技术积累不够的用户，如何快速有效的解决这些问题呢？戴尔高性能计算解决方案体系结构、存储配置建议

Lustre的主要目的是高性能计算。上图显示了戴尔的高性能计算解决方案体系结构，存储是其中的一部分。关于计算节点的选择，刀片服务器具有灵活的配置和可管理性；传统机架式服务器可以提供大内存节点；云服务器既有密度又有性价比，还有专门为GPU设计的机型；用于高性能计算的工作站通常要求高视觉效果，并配备专业显卡。

如上图，除了来自合作伙伴Mellanox的IB交换机，戴尔可以提供Lustre存储的典型配置“Boulder”中的所有服务器、存储和网络设备，包括MDS元数据服务器+MD3420双控SAS阵列、OSS对象存储服务器+MD3460双控高密度SAS阵列+MD3060e高密度JBOD扩展机柜；还有管理节点和千兆/万兆以太网交换机。

戴尔不仅单纯提供设备，对磁盘阵列的RAID配置也有具体建议。比如连接到OSS的MD3460/MD3060e，其中60块硬盘建议做成6个RAID组，每组10块磁盘配置为RAID6(8+2)，这样LUN(OST)就可以达到理想的性能。这里没有热备，因此HPC系统的可控性高于OLTP等关键业务。当硬盘出现故障时，可以根据情况安排重建，或者减少用户对存储的访问。由于采用了RAID10(MDT元数据存储)和RAID 6技术，可以采用冷备份磁盘的方式来处理磁盘故障问题。性能测试:吞吐量和元数据

以上是博尔德配置的IOzone性能测试结果。单个客户端读写性能分别达到0.75千兆字节/秒和0.63千兆字节/秒，24个客户端最大聚合性能分别达到10.04千兆字节/秒和5.68千兆字节/秒。用户可以比较他们的实际需求，戴尔可以帮助提供适合您的配置建议。

MDtest元数据测试主要用于评估有很多小文件的应用场景。Boulder在单客户端测试中配置，每秒500个文件创建操作，2000个文件状态(list)，1800个文件删除次数；通过240个线程，每秒总文件创建量达到15K，文件状态(列表)为400k；在192个线程上，文件删除性能高达每秒100K次操作。企业级Lustre:集成高性能计算和大数据

在2013年春季的IDF期间，作者简要总结了Lustre的历史:“Lustre项目始于1999年，CFS公司成立于2003年，发布了1.0版。2007年开始归孙所有，2009年发布1.8版。2010年，孙被甲骨文收购后加盟甲骨文，发布2.0版。同年，Lustre团队要独立于Oracle，成立惠姆云公司。Lustre建立了两个开源社区，OpenSFS和EOFS。去年，威猛云被英特尔收购，之后发布了2.3版。”(引自“lustre:数据库云服务器文件系统的前世”)英特尔发布了自己的企业版软件(IEEL)，同时保持Lustre开源。上图中的绿色和红色方框是企业版中唯一可用的部分。这些包括生产质量的文件系统增强；专门的英特尔经理；Apache Hadoop和Cloudera Hadoop的适配器可以为MapReduce提供访问数据的HDFS接口；分层存储管理支持，包括POSIX拷贝工具和强大的策略引擎；利用ZFS最大限度地保护数据(数据完整性和快照)；针对至强融核的客户端和优化；使用不同的存储服务来提高小文件的性能；24x7企业支持、专业服务和培训等。

通过与英特尔的密切合作，戴尔支持运行在IEEL软件的戴尔存储上的Hadoop(相当于取代HDFS的Lustre文件系统)。目前该方案已经在至少两所高校有成功案例，其主要优势是将HPC和Hadoop数据集成到一个存储系统中。综上所述，戴尔不仅是数据中心硬件设备提供商，还拥有自己的软件部门，与多家合作伙伴共同提供咨询各种行业应用解决方案等增值服务。