大数据分析师 怎么入行大数据，成为一名合格的数据分析师？

大数据时代，数据分析和数据挖掘面临机遇和挑战。近年来，业界和学术界兴起了大数据讨论，大数据时代一夜之间到来了。大数据给学术界带来了新的思潮。大数据正在颠覆许多传统行业模式，带来变革。

大数据必将成为商业、政府、科研、教育、医疗等行业的挑战。大数据时代，数据分析和数据挖掘面临着机遇和挑战。本文试图从数据分析的角度，回答什么是大数据，如何处理大数据的问题。

首先，了解大数据

(1)大数据的目的:分析的数据有价值

大数据必须经过分析才能发挥作用，这是由其4V特性决定的(数据量大，数据类型多，处理速度快，密度低)。也就是说，数据都是高维低密度的，很难从单一的数据中看出规律。因此，需要对高维进行分析、降维，提取大量低密度信息的价值，才能发挥作用。否则，在大数据背景下，更容易让“活”的信息混杂在大量“死”的数据中。对大数据的分析应该“简单、快速、大规模”。

(2)大数据目标:实现基于数据的决策和资源分配

大数据最终会实现基于信息对称的科学决策和有效资源配置。随着大数据分析技术的发展，数据源可以从离线的封闭数据库和数据仓库扩展到开放的O2O(Online To Offline)融合数据，可分析的数据结构可以从以数值数据为主的结构化数据发展到包括文本、视频、音频在内的多媒体数据。因此，大数据将逐渐改变我们的决策目标和社会资源的分配。基于数据的科学决策是一个一致的目标。但信息不对称是常态，所以传统的决策目标是建立相对满意度而不是最优化(决策学家西蒙提出的)，基于市场的资源配置效率优于基于计划的。在大数据背景下，可以快速获取和分析更多的辅助决策信息，使决策目标无限逼近最优目标，实现基于数据的“计划”资源分配将更加高效。

(3)大数据视角:个性化服务+媒介指数+宏观链接

目前大数据的发展主要包括基于数据为客户提供个性化营销服务、预测中档行业或区域趋势指数、基于链接的宏观资源配置方案。这不仅体现在阿里小额信贷的个性化风险控制决策，高端品牌的网上销售和定价的动态决策(基于阿里巴巴的网上业务活动指数和零售商品价格指数)，明辨集团企业发展战略的咨询报告，还体现在阿里巴巴的商业智能指数(预测经济发展趋势)和基于公共气象数据的各行业资源配置优化服务。

互联网金融从各个角度都是大数据发展的前沿。在金融领域，需要实现金融互联网向互联网金融的快速转型。金融企业在传统模式下开展网上业务，如网上银行、网上理财等，并不是真正的互联网金融。互联网金融是指通过新的互联网技术为客户提供搜索或风险控制等增值服务。典型的是消除供需双方结构不对称的P2P贷款，提高访问效率。

(4)大数据的关键点:保证数据质量

发展大数据分析，首先要保证数据质量。输入错误必然导致输出错误。没有数据质量，一切都是浮云。数据质量没有保障，不敢用。数据质量是一项费时费力的基础工作。

为了保证数据质量，在数据采集和清理过程中应遵循两个原则:相关性和低噪声。第一，大数据，数据越大越好，但是相关数据越大越好。特别是在数据收集上，要以收集尽可能多的“相关”数据为目标，而不是不过滤，越多越好。二、大数据，首先数据采集要保证没有诱发倾向性的干扰因素，同时要去噪。

要保证数据的质量，就要建立数据的数据。只有为数据质量建立数据标签，才能取得进步。有了数据质量的数据，决策者可以更安全、更科学、更有效地使用数据。

(5)大数据竞争的核心:人才竞争分析

大数据时代，数据作为一种资源，不再是稀缺资源。互联网、门户网站、社交网站、微博、微信等新媒体积累了大量数据，但缺少的是这些数据的分析师。缺乏专业的分析人才，即使你在守护数据的“金山”，也只能望着“山”叹息。因此，美国Turbo Financial Group采用最新的大数据分析技术，专注于被FICO遗忘的15%人群的建模。阿里提出建立一个开放的大数据分析平台，希望能够聚集更多的专家智慧，培养阿里分析人才，挖掘阿里数据“金矿”。

第二，把握大数据

大数据对社会生活的方方面面都有影响。如何把握大数据时代的机遇，需要我们认真对待大数据带来的挑战。总而言之，主要有三个方面:

(1)大数据时代，数据整理和清理工作

(1)数据整理和清理是数据分析的基础。根据经验，大数据专家普遍认为这项工作是一项基础工作，耗时且简单，占数据分析工作量的60%以上，是数据分析的前提和基础。在此基础上，数据分析需要识别数据，进行深入分析，撰写专题报告，确保结果能够落实，最终落实到决策和执行中。

(2)大数据时代，需要充分利用IT技术来管理数据质量。在大数据时代，手工逐一查找和解决数据质量问题的方法成本高、效率低、不可持续。有必要对数据质量管理进行标准化、系统化和自动化，并将节省下来的人力资源投入到新问题的研究中。

(2)大数据时代数据分析的特点

(1)采用倒金字塔模型分配“思考、工作、分享”的时间比例。数据分析包括三个部分:“思考”，分析实际问题，将实际问题转化为数学模型并提出解决方案；“工作”，对解决方案进行编程并获得结果的过程；“共享”是将分析结果转化为决策并付诸实践的过程。在时间分配上，金字塔结构或柱状结构不是最好的结构，倒金字塔结构更合理。也就是思考的过程需要更长的时间，可以减少后期的工作量，少走弯路。

(2)通过数据分析做出科学决策。很多人都有数据分析就是做报告写报告的误解。大数据时代，数据分析不仅需要留在这里，还需要进行深入分析，建立数据决策流程。我们应该尊重和理解数据，但不要迷信数据。在尊重数据和事实的前提下，减少主观因素的干扰，快速做出数据决策的一种能力。

(3)大数据时代，数据分析的本质是简单、快速、规模化。数据分析的结果要简洁易懂；数据分析的时间要短，结果要尽可能自动产生，要快速满足客户的需求；数据分析的方法可以实现大规模。优秀的数据分析师要有全球眼光。如果出现问题，他们可以立即将其分解成许多问题，甚至将一个问题克隆成许多问题，从而与业务人员建立信任，减少工作量。

(4)将“活的”信息与“死的”信息分开。大数据有数据量大的问题——产生大量“死”数据。误差数据是指数据与实际情况不符，异常数据是指数据是正确的但数据远离大多数人群，对这类数据的处理方法也比较成熟。大数据时代，大量数据是不活跃的主体，即“死”数据。因此，有必要从高维低密度数据中提取“活”信息，发现规律。防止“死”信息的存在，导致分析结果不能正确反映“活”群体特征。

(3)大数据时代数据分析师的培养

(1)培养核心技术人才，保证长期竞争力。美国在建立国家医疗体系的时候，把体系外包给了一家加拿大公司，体系在运行的第一天就崩溃了。

美国政府为此反思了这种模式，总结起来有三点:

(1)外包公司在设计时只会满足甲方的眼前利益，不会考虑甲方的长远利益；

(2)项目外包导致美国技术骨干人员失误，导致无法自行解决的问题；

③这种模式的采用导致了美国核心技术的缺失。

因此，在采用项目外包模式的同时，需要掌握其核心技术。大数据时代，要从数据分析、信息管理、IT技术三个方面保持核心竞争力。需要培养和维护业务、产品设计、数据分析、数据架构等方面的骨干人员。

(2)建立专业的大数据分析团队。大数据分析的核心是数学建模，基础是实际业务，结果是自动化程序。在实际工作中，要正确合理地运用数学建模的思想，建立基于数学模型的数据分析，树立量化风险管理的理念。深刻理解并正确控制大数据分析。大数据分析的方法处于不断发展的过程中，需要根据实际问题和实际数据灵活建模。

在不久的将来，多元智能的时代一定会完全进入我们的生活。让我们携手引领人工智能的未来！