成都大数据培训学校 大数据软件有哪些？成都大数据培训机构分享

大数据技术庞大而复杂，基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术范畴和不同的技术水平。

大数据技术体系大数据技术系统

查询引擎

1、凤凰

介绍:这是一个Java中间层，允许开发人员在Apache HBase上执行SQL查询。

2、转眼间

简介:Facebook的开源数据查询引擎Presto可以快速交互分析250PB以上的数据。

3、鲨鱼

简介:鲨鱼是星火上的蜂巢，由蜂巢的HQL从本质上分析。功能很快，并且完全与Hive兼容。

4、猪

简介:Pig是一种编程语言，简化了Hadoop的常见任务。

5、Cloudera Impala

简介:Cloudera Impala可以直接为存储在HDFS或HBase的Hadoop数据提供快速、交互式的SQL查询。

6、阿帕奇演习

简介:Apache Drill是一个分布式系统，可以交互分析大数据，开源。

7、蜂巢

简介:hive是基于Hadoop的数据仓库工具。

8、阿帕奇塔乔

简介:Apache Tajo项目的目的是建立一个基于HDFS的高级数据仓库系统。

流式计算

1、脸谱彪马

简介:实时数据流分析。

2、推特雨鸟

简介:雨鸟是一个基于动物园管理员、卡珊德拉、抄写员和节俭的分布式实时统计系统。

3、推特风暴

简介:Storm是来自Twitter的类似Hadoop的开源实时数据处理框架。

迭代计算

1、阿帕奇哈马

简介:Apache Hama是一个纯BSP(批量同步并行)计算框架。

2、阿帕奇·吉拉德

简介:Apache Giraph是一个可扩展的分布式迭代图形处理系统。

3、HaLoop

简介:迭代MapReduce，用于迭代计算的Haloop-Hadoop。

4、龙卷风

简介:Twister，迭代MapReduce框架。

离线计算

1、Hadoop MapReduce

简介:MapReduce是一个大规模数据集(大于1TB)并行操作的编程模型。

2、伯克利火花

简介:Spark是一个类似Hadoop map reduce的通用并行，由UC伯克利AMP实验室开放，可以更好的应用于数据挖掘、机器学习等迭代map reduce算法。

3、数据种子

简介:DataTorrent基于Hadoop 2.x，是一个实时、容错的数据流处理和分析平台。

键值存储

1、等级数据库

Leveldb是一个由谷歌实现的非常高效的kv数据库。

2、RocksDB

简介:RocksDB是在代码级的LevelDB的原代码上开发的。

3、HyperDex

HyperDex是一个分布式和可搜索的键值存储系统。

4、东京内阁

介绍:DBM的一个数据库，由日本人平谷美雄开发。

5、伏地魔

简介:伏地魔是一个分布式键值存储系统。

6、亚马逊发电机

简介:亚马逊Dynamo是一款经典的分布式键值存储系统。

7、Tair

介绍:tair是淘宝自己开发的分布式密钥/值存储引擎。

8、阿帕奇积累

简介:Apache Accumulo是一款可靠、可扩展、高性能的排序分布式键值存储解决方案。

9、Redis

Redis是一个高性能的键值存储系统。

桌面存储

1、海洋基地

简介:OceanBase是一个支持海量数据的高性能分布式数据库系统。

2、亚马逊简单数据库

Amazon SimpleDB是用Erlang编写的分布式数据库。

3、垂直

简介:Vertica基于列存储。与传统的面向行存储的数据库相比，它具有很大的优势。

4、卡珊德拉

介绍:卡珊德拉是一个开源分布式NoSQL数据库系统。

5、超表

简介:Hypertable是一个开源、高性能、可扩展的数据库。

6、基础数据库

简介:支持ACID交易的NoSQL数据库。

7、糖化血红蛋白

简介:HBase是一个分布式、面向列的开源数据库。

档案库

1、CouchDB

简介:CouchDB是Erlang开发的面向文档的数据库系统。

2、MongoDB

简介:MongoDB是一个基于分布式文件存储的数据库。

3、快子

简介:快子是分布式内存文件系统。

4、HDFS

介绍:Hadoop分布式文件系统(HDFS)是一个运行在商用硬件上的分布式文件系统。

资源管理

1、推特网

简介:Apache Mesos是一个开源的集群管理软件，首先由加州大学伯克利分校的AMPLab开发

2、Hadoop纱线

简介:Hadoop新MapReduce框架纱。