大数据分析软件 大数据领域的12大工具，市面上主要的大数据分析工具都在这了！

大数据工具使企业能够从数据仓库中获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛的需求，大数据工具正在各地迅速绽放。在大数据和商业战略概念出现的十年里，市场上出现了成千上万的工具来执行各种任务和流程，这些工具都承诺为您节省时间和金钱，探索商业见解，实现创收。显然，大数据分析工具面前是一个不断增长的市场。

这些工具最初很多都是开源项目，就像最初的大数据软件框架Hadoop一样，但后来商业公司迅速出现，为开源产品提供新的工具或商业支持和开发。

可能很难从中选择，尤其是因为许多大数据工具只有一个目的，并且您可以用大数据处理许多不同的任务，所以您的分析工具箱将会很满。本文列举了市场上主要的大数据分析工具，分为三大类？类来介绍。

主要大数据工具

如前所述，大数据工具往往属于单一用途类别，使用大数据的方式有很多种。所以我们将按类别进行细分，然后讨论每个类别的分析工具。

首先，大数据工具:数据存储和管理

大数据完全从数据存储开始，也就是说从Hadoop这个大数据框架开始。它是由Apache Foundation运行的开源软件框架，用于在流行的计算机集群上分布式存储非常大的数据集。

显然，因为大数据需要大量信息，所以存储非常重要。但是，除了存储之外，还需要某种方式将所有这些数据聚合到某种格式/治理结构中，以获得洞察力。所以，大数据存储和管理才是真正的基础——没有它，分析平台毫无用处。在某些情况下，这些解决方案还包括员工培训。

该领域的大玩家包括:

1.云纪元公司

其实是Hadoop加上一些附加服务，你会需要的，因为大数据不好做。Cloudera的服务团队不仅可以帮助您构建大数据集群，还可以帮助培训您的员工更好地访问数据。

2.MongoDB

MongoDB是最流行的大数据数据库，因为它适合管理经常变化的数据:非结构化数据，大数据往往是非结构化数据。

3.拓蓝

作为一家提供广泛解决方案的公司，Talend的产品是围绕其集成平台构建的，该平台集成了大数据、云、应用、实时数据集成、数据准备和主数据管理。

图1: Talend大数据集成平台包括数据质量和治理功能

第二，大数据工具:数据清理

在您真正处理数据以获得洞察力之前，您需要清理数据并将数据转换为可远程搜索的内容。大型数据集通常是非结构化和无组织的，因此它们需要某种清理或转换。

目前数据可以来自任何地方:手机、物联网、社交媒体，所以数据清理更有必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。事实上，在未来几年，预计有效清理数据将是可接受的大数据系统和真正出色的大数据系统之间的竞争优势。

4.OpenRefine

OpenRefine是一个简单易用的开源工具，可以去除重复，空白色字段和？？清理混乱数据的其他错误。它是开源的，但有相当多的社区可以帮助。

5.数据清理器

像OpenRefine一样，DataCleaner可以将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6.微软优越试算表

说真的，Excel有它的用处。您可以从各种数据源导入数据。Excel对于手工录入数据和复制/粘贴操作特别有用。它可以消除重复，查找和替换内容，检查拼写，并有许多转换数据的公式。但是Excel很快就陷入困境，不适合庞大的数据集。

第三，大数据工具:数据挖掘

一旦数据被清理和准备好，您就可以开始通过数据挖掘来搜索数据。此时，您执行这个实际的过程:发现数据、做出决策和做出预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案的底层通常很复杂，但是要提供一个漂亮且用户友好的用户界面谈何容易。数据挖掘工具面临的另一个挑战是，它们确实需要人来编译查询，所以数据挖掘工具的质量取决于使用它们的专业人员。

7.RapidMiner

RapidMiner是一个易于使用的预测分析工具，具有用户友好的可视化界面，这意味着您无需编写代码就可以运行分析产品。

8.IBM SPSS建模器

IBM SPSS Modeler是一套五个数据挖掘产品，面向企业级高级分析。另外，IBM的服务和咨询是首屈一指的。

9.Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着，除了业务服务、咨询、培训和支持之外，您的公司可以真正成为一家数据驱动的公司。

图2:像许多当前的大数据工具一样，RapidMiner解决方案也支持云

第四，大数据工具:数据可视化

数据可视化是指以可读和实用的格式显示您的数据。您可以查看直观显示数据的图形和其他图像。

数据可视化既是一门科学，也是一门艺术，随着大数据从大量数据科学家支持的高管转移到整个公司，很多员工能够使用可视化工具是极其重要的。销售代表，IT支持，中层管理，这些都需要能够理解数据，所以重点是易用性。然而，易于阅读的可视化有时会与从深层特征集中读取数据相冲突，这是数据可视化工具面临的主要挑战之一。

10.画面

Tableau是这个领域的佼佼者，它的数据可视化工具专注于商业智能，可以在不知道如何编程的情况下创建各种地图、图表、图形等更多可视化元素。它有五个产品，一个名为Tableau Public的免费版本可供潜在客户尝试。

11.丝绸

Silk是Tableau的一个简单版本，它允许你通过地图和图表可视化数据，而无需任何编程。当您第一次加载Silk时，它甚至试图可视化数据。它还使用户可以轻松地在线发布结果。

12.Chartio

Chartio使用自己的可视化查询语言，只需点击几下就可以创建强大的仪表板，而不需要了解SQL或其他建模语言。它和其他工具的主要区别是可以直接连接到数据库，所以不需要数据仓库。

13.IBM沃森分析

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，并为具有许多数据科学技能的用户(如业务分析师和数据科学家)提供指导。

三个级别的大数据工具

普华永道(PwC)移动数据与分析项目首席技术官Ritesh Ramesh表示，大数据工具从先进水平和市场策略来看，可以分为三个金字塔。

第一层:最大的是一系列开源工具。每个公司都是从开源开始的，比如Cloudera和Hortonworks。除了基础设施、服务器和存储，没有多少价值。大多数云供应商已经将这一层商业化。

第二层:在这一层，这些厂商大多有意增加了市场份额，在开源工具上构建了一些专有的应用，让它们与众不同。例如，Cloudera已经开发了许多产品，例如位于Hadoop核心的数据科学平台。

第3层:这些是特定垂直领域的应用。这些公司大多与系统集成商合作，如普华永道(PricewaterhouseCoopers)、高知(Kochit)或埃森哲(Accenture)。真正的价值就在这里，这也是大数据工具开发者非常有效的竞争策略。

Ramesh说，这些工具除了基本功能之外，还有三个方面的流行。首先是数据处理工具。他说:“数据学习工具是客户工具箱中确保数据质量和分析数据的重要工具，例如处理5000万行数据以发现见解。”

他说，领先的制造商包括Trifacta、Paxata和Talend。

第二类应用是治理，比如如何定义元数据。他说:“很多人在这方面遇到了困难。人们只是把大量的垃圾数据倾倒到数据湖里。市面上能在数据湖中发挥积极作用的工具并不多。由于这项工作主要由信息技术人员完成，他们对向数据湖中倾倒数据比对建立治理结构更感兴趣。”

主要厂商有Waterline Data，Tamr，Collibra，擅长数据编目工具。

拉梅什说，第三个最常见的需求是安全。他说:“人们希望一个产品拥有可以安全访问的所有层(列、行和对象)。他们希望产品支持不同数据对象的用户访问和安全性。这也是一个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

结束。

高质量数据分析报告的三个轴