最近Apache Doris(孵化)通过社区投票成功发布了第一个0.9.0版本。
多丽丝是什么?
多丽丝(原百度Palo)是基于大规模并行处理技术的分布式SQL数据库,2017年由百度开放,2018年进入Apache孵化器。
多丽丝的主要特征
1.它与MySQL协议兼容,支持丰富的SQL语法,包括多表连接、子查询、窗口函数和CTE。支持很多常见的BI报表系统,可以大大降低用户的学习和迁移成本。
2.支持高并发查询和高吞吐量多维分析查询场景。通过分区裁剪、预聚合、谓词下推、矢量化执行等技术,以及高效的列存储引擎,即数据压缩算法,满足不同业务场景下的延迟和吞吐量需求。
3.独特的数据预聚合功能。支持预聚合表和基准表的同步原子更新,并为报表场景提供更快的查询响应。
4.提供强大的可扩展性和高可用性。所有数据均采用多份副本,确保数据的高可靠性,并提供全自动副本选择、平衡和修复功能,为用户提供7*24小时高可用的数据库系统。
5.提供友好的在线表格结构变更功能,可以有效应对业务需求的变化。
6.提供两级数据分区功能和分层存储功能。用户可以更灵活地管理和维护数据。
多丽丝已经在百度申请了200多条业务线,包括百度风超和百度统计。最大单个业务数据量超过500 TB。同时在百度的公有云和toB业务中得到了高度认可。自开源以来,小米、美团、搜狐、新浪微博、瓜子脸、链家、上海一威、零售魔方、量化派等十多家公司在制作环境中使用了多丽丝。
第一个发布版本已经发布
作为多丽丝进入Apache孵化器以来的第一个版本,这个版本在功能、性能、易用性和稳定性方面都有了很多改进。以下是该版本的一些主要功能。
1.流式导入
在以前的版本中,Doris只支持批量异步导入。这种导入方式对卡夫卡、Spark Streaming等流媒体系统不友好。此外,批量导入执行过程中有许多磁盘删除操作,导致整体导入效率较低,单机导入速度约为10-20mb/s。
新的导入模式采用了微批量的思想。Doris一方面支持数据同步导入,方便对接流媒体数据源;另一方面导入效率大大提高,单节点导入吞吐量可达100 MB/s;导入小数据的延迟从几分钟减少到几毫秒。
2.同地连接
通过管理表数据的分布,支持多表数据的原位连接操作。减少Join操作的网络传输,大大减少Join类查询的延迟。(感谢美团同学的贡献)
3.高效的数据碎片管理
引入RocksDB存储数据切片的meta-informatIOn,大大减少了随机io操作。每台机器500,000台电脑的启动时间从10分钟缩短至20秒。
4.更丰富的集群状态查询和管理
提供100多个监控指标和丰富的监控仪表盘;;提供当前查询和历史查询的资源消耗显示和统计;提供更完善的副本管理和状态查询工具。便于运维人员快速定位系统故障,找出性能瓶颈。
5.提供Docker开发环境映像
开发人员可以在大多数环境中快速构建多丽丝编译和调试环境,而无需处理复杂的编译依赖关系。
6.Apache许可证2.0
许可证改为Apache许可证2.0,任何公司或个人都可以自由使用和开发多丽丝。
7.缺陷和稳定性问题修复
多达30多个Bug和稳定性问题修复。帮助多丽丝成为更加成熟稳定的数据库产品。
目前,越来越多的开发商加入多丽丝社区。多丽丝团队非常感谢用户的支持,并将一如既往地努力推动多丽丝朝着更加开放、合作、对商业化友好、外围工具更加丰富的方向前进。
同时,我们还维护了多丽丝的百度分公司。百度分公司会跟社区分公司并驾齐驱,更快的修复bug,更频繁的发布版本。用户可以在生产环境中使用百度分公司发布的版本,以确保更稳定的在线服务。
多丽丝计划在2019年4月发布下一个官方Apache版本。在新版本中,多丽丝将增加与卡夫卡的数据对接能力,支持弹性搜索的数据查询能力,更新和优化包括UDF和十进制数据类型改进在内的许多功能。
敬请期待,欢迎体验!
欢迎来到开发者邮件群:
dev@doris.apache.org
相关链接:
阿帕奇多丽丝0.9.0
http://doris.apache.org/downloads.html
阿帕奇多丽丝官网
http://doris.incubator.apache.org
Apache Doris Github
https://github.com/apache/incubator-doris
阿帕奇多丽丝维基
https://github.com/apache/incubator-doris/wiki
百度桃乐丝Github
https://github.com/baidu-doris/incubator-doris
1.《doris Apache Doris(incubating)发布首个社区版本》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。
2.《doris Apache Doris(incubating)发布首个社区版本》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/fangchan/1235019.html