混之从零开始 从零开始理解大数据架构之大数据虚拟混算

月光宝盒

Moonbox是一个DVtaaS平台解决方案。Moonbox致力于提供基于数据虚拟化设计理念的批量计算服务解决方案。Moonbox负责屏蔽底层数据源的物理和使用细节，为用户带来类似虚拟数据库的体验。通过统一SQL语言，用户可以透明地混合和编写异构数据系统。此外，Moonbox还提供数据服务、数据管理、数据工具、数据开发等基础支持，可以支持更加敏捷灵活的数据应用架构和逻辑数据仓库实践。

特征

多租户支持Moonbox建立完整的用户系统，引入了Organization的概念，用来划分用户空。系统管理员ROOT帐户可以创建多个组织，并在组织中指定一个或多个组织经理。SA负责创建和管理普通用户。Moonbox将普通用户的能力抽象为六个属性，即是否可以执行Account management语句、DDL语句、DCL语句，是否可以授权其他用户执行Account语句，是否可以授权其他用户执行DDL语句，是否可以授权其他用户执行DCL语句。通过属性的自由组合，可以构建满足各种角色和需求的用户系统模型，实现多租户。

Moonbox以Spark为计算引擎，可以支持各种数据源的混合计算，如MySQL、Oracle、Hive、Kudu、HDFS、MongoDB，支持用户自定义扩展。

统一SQLMoonbox将查询语言统一到Spark SQL中，使用Spark SQL语法进行查询操作，扩展了一套DDL和DCL语句。包括创建、删除和授权用户、访问数据表或数据列、装载和卸载物理数据源或数据表、创建和删除逻辑数据库、创建和删除udf/udaf、创建和删除计划任务等。

优化策略Moonbox基于Spark，Spark SQL支持多数据源。而Spark SQL只是在从数据源拉数据时向下推项目和筛选运算符，没有考虑数据源的计算能力特点。Moonbox进一步优化Spark Optimizer优化的LogicalPlan，根据规则拆分可以下推的子树，将子树映射成数据源查询语言，将推的结果拉回到Spark参与进一步计算。如果可以将LogicalPlan整体下推，Moonbox就不会使用Spark进行计算，而是直接使用数据源客户端运行逻辑Plan映射的查询语句，减少启动分布式作业的开销，节省分布式计算资源。