数据加工大数据时代下的商业变现

正文/未央研究图图

在前一篇文章中，作者介绍了大数据生成和收集后的实现方式，以及数据隐私的安全性。从价值链的角度来看，数据从“原材料”到“粗加工”后，会进一步“成品化”，应用到某个场景来满足需求。生活中有很多情况是数据处理后形成各种形态来满足需求。比如常见的天气预报，就是通过对温度、风向等数据的综合分析处理，形成了有效的信息来辅助决策。在这篇文章中，作者将解释数据分析技术的历史，数据产品在这个环节的形式，以及对价值判断的思考。

数据的“整理”

数据的“整理”是数据分析和处理的环节。随着大数据的发展，尤其是一批互联网公司(如谷歌、Facebook等)的推广。)随着海量数据，新的需求不断涌现，也推动了相关技术的蓬勃发展。自2010年大数据概念提出以来，前三年数据分析和挖掘仍然以结构化数据为主。从2013年开始，一些公司尝试处理非结构化数据，数据处理的范围大大扩大，使得大数据分析真正做到了“大”。除了数据处理范围的扩大，随着开源运动的快速发展，新的数据需求解决方案也被应用到更广泛的领域，如决策树和目前最主流的神经网络。数据分析中也常用回归、关联规则、聚类、贝叶斯分类、支持向量机等其他方法。

同时，随着数据可视化技术的提高，数据分析处理后的输出更适合终端显示的需求。从数据分析中提取的信息密度和分析结果的显示也与数据可视化程度有关。可以说，大数据可视化技术简化了数据分析结果，让更多人享受到大数据带来的价值。

近一两年来，大数据发展的新趋势是与人工智能的结合，这也使得大数据在传统数据分析技术上有了新的想象。其实人工智能历史悠久。最近新一波人工智能与大数据的发展息息相关。通过用不同形式的人工智能分析大数据，获得了一些新的预测洞见，进一步释放了人工智能的潜力。

数据分析平台(数据分析师平台)

微软、pentaho、alteryx、数字推理、guavus

商业智能平台

微软、亚马逊网络服务、DOMO、looker、Wave Analytics

可视化处理(可视化)

Qlik、潜望镜、plotly、Zoomdata

机器学习

蔚蓝机器学习、数据机器人、

人工智能

IBM沃森、Cortana、盆景、DATARPM

一些大数据分析和处理工具

在产品形式上，这个环节经过数据分析处理后形成的数据产品形式很多。根据《数据产品的前世作者》的分类，数据产品从最初的报告类型(如静态报告、仪表板和临时查询)到多维分析类型(OLAP和其他基于工具的数据产品)，再到定制的面向服务的数据产品，再到智能数据产品和已启用的数据产品。

数据产品类型

特征

报告类型

可视化能力有限，数据解释能力弱

多维分析类型

数据的多维分析和解释

定制服务类型

基于用户的深层需求，构建数据模型、产品设计、可视化方案等。最适合当前业务难点的解决方案。

有智力的

将大数据的智能更多地集成到产品中，并与决策逻辑相结合，发挥作用

启用类型

为未来决策提供指导和预测

他认为，目前基于报表和多维分析数据产品的使用越来越有限，未来的趋势可能是定制化的面向服务和智能化。对于面向服务的定制，这种产品形式更像是一个服务提供者，而不是一个通用工具。智能产品形态具有大数据的特点，结合决策逻辑发挥作用。比如多维分析型数据产品，就是传统的会员营销系统，按照自己的规则筛选目标用户；智能数据产品是输入营销目标和参数。比如开展双十一母婴市场的推广活动，系统可以根据以往的海量数据计算出应该选择什么样的产品，以什么样的用户群体，以什么样的形式开展活动，效果会更好。

启用数据产品不仅可以帮助现有的决策，还可以为未来的决策提供指导和预测。现有的数据大多只说明了现在或者未来的情况是怎样的，问题痛苦在哪里，却无法给出更完善的建议，甚至无法支持一个建议的实施。这是已启用的数据产品应该做的。它不仅可以告诉你哪些用户有很大的流失倾向，还可以直接指导用户进行后续补救的实施过程，哪些子群体需要促销活动的刺激，哪些需要提供专属VIP服务，哪些需要更好的互动等等。

可以看出，相对于之前的环节，也就是数据采集——API或者数据文件形成的数据产品形态，这个环节的数据产品形态更加多元化，更加成熟。最重要的是，这个环节中的数据产品形式可以直接、充分地展示数据所代表的信息，传递更大的价值。

价值几何？

在讨论数据分析处理中数据的价值时，第一个明显的趋势是这个环节的参与者越来越多，风险投资圈非常活跃，说明数据分析带来的价值越来越受到重视。在美国，如上所述，大数据的早期发展主要是由几家互联网巨头推动的。后来，一些互联网大公司的数据工程师离开，成立了自己的大数据初创公司，这也催生了一批新兴的独角兽公司。数据显示，2009年至2013年的大数据初创企业已经融资数轮，部分已经上市(包括2015年上市的HortonWorks和New Relic)。根据2015年的数据，大数据初创企业的融资额达到66.4亿美元，占整个科技VC融资总额的11%。

中国数据产业的发展也有类似的过程。传统媒体(新浪、搜狐、雅虎等门户网站)的电子化形成了第一批互联网的基本形态，而新的互联网形态更加多元化。目前主流的公司有腾讯、阿里巴巴、百度等等，这些公司我们都很熟悉，商业模式也不一样。这些巨头拥有海量的数据，随着商业模式的扩展，他们也生产出了不同的数据产品。在这个过程中，新的需求和新的数据解决方案不断涌现。在生活的方方面面，我们都能深刻感受到数据的推动所带来的巨大价值。

大势所趋，大数据行业的重心也从基础设施建设转移到了数据分析上，一方面说明大数据的基础设施相对成熟，另一方面也说明数据产品经过处理分析后的价值越来越被认可。

对于数据分析后的产品所能提供的价值，很难有统一的结论。下面，作者用三个大数据案例简要论证了大数据产品的价值。

案例1:零售:啤酒和尿布

啤酒和纸尿裤的故事成了数据分析的经典案例。一个常见的说法是，沃尔玛在分析消费者的购物行为时，发现购买纸尿裤的美国年轻男性也倾向于在周五下午购买啤酒，所以它试图将啤酒和纸尿裤放在一起进行促销。没想到这一举动大大提高了纸尿裤和啤酒的销量。这个版本的故事是众所周知的，但可能不是真的。在后来的回顾中，这个故事源于1992年6月的一项研究。托马斯·布里斯乔克，当时是NCR工业咨询公司的副总裁(现在在TeraData工作)，为奥科药品公司做分析。他们检查了25家商店的120万个购物篮，确定了20多种不同的产品关系，包括啤酒和尿布、果汁和止咳糖浆。通过移动商品和使用库存的分析结果，消费者的购买体验得到了显著改善。有了这个结果，Osco和基本上整个零售业开始明白，通过数据分析，可以在合适的时间上架正确数量的商品，零售公司可以根据需求更有效地布局店铺。

现在二十多年过去了，当时的数据分析显然还处于起步阶段。当时“最先进的数据查询工具”显示，下午5点到7点之间，顾客倾向于一起买啤酒和纸尿裤。这个结果显示了啤酒、尿布和时间之间的相关性，并通过移动货物来增加销售额。Osco和NCR研究所建立了一个基本的认识，即购买习惯可以用来提高整个购买体验。然而今天，这种信息密度仍然很低。现在，我们有了更成熟的商业智能和预测分析工具，可以发现零售业的相关性，甚至可以揭示相关性背后的原因，预测未来的销量。然而，作为数据挖掘的雏形，这个故事仍然具有开创性的意义。

案例2:智能医疗:美国肯塔基州路易斯维尔

美国肯塔基州路易斯维尔利用大数据技术探索智能医疗建设。路易斯维尔曾被列为灰尘污染最严重的城市，约有10万人患有哮喘。为此，路易斯维尔的管理人员推出了“路易斯维尔哮喘数据创新计划”，选择500名哮喘患者使用传感器，即时记录患者的情况，并将信息存档，以分析一年内哮喘对人群的影响，确认城市的空气质量空是否会导致哮喘恶化。

通过移动设备与医疗数据的结合，为未来的医疗诊疗模式赋予了新的想象空。同时，通过研究医疗数据与空空气质量、交通状况、污染状况等数据的相关性，也可以为医疗方和城市管理者提供更好的公共卫生解决方案。

案例3:金融:Ice技术

冰建科技成立于2015年，是基于机器学习和人工智能的第三方独立征信平台。主要业务是通过风险模型识别欺诈风险和信用风险，为银行、P2P、消费金融、小额贷款公司提供个人和小微企业信用评估解决方案，推出个人信用画像报告、企业一级、二级、三级风险控制报告、sea数据捕获等反欺诈和风险控制产品。

小微企业面临融资困难，贷款审批率低。然而，传统的信用评估时间长、风险高、成本高、难度大，已经不能满足日益增长的信用需求。冰建科技结合企业主提供的个人数据、在线舆情数据、第三方数据，通过自身算法分析处理，打造10款理财产品，根据企业用户的不同需求进行标注，一方面帮助金融机构提高效率，也更好的解决小微企业和个人贷款难的问题。

从以上案例可以看出，大数据产品的应用场景非常广泛，在金融、医疗、交通、零售等行业发挥了巨大的作用。但是由于行业跨度很大，很难用统一的基准来衡量。在一些领域，例如PredPol公司与洛杉矶和圣克鲁斯警方以及一组研究人员合作，根据地震预测算法和犯罪数据的变化来预测犯罪的概率，可以精确到500平方英尺以内。在洛杉矶，盗窃和暴力犯罪的分布分别下降了33%和21%。这样的数据产品在社会中扮演的角色，更难用简单经济意义上的价值来衡量。

总的来说，这个环节的数据价值差别很大，核心价值主张是数据挖掘思维的创新，比如上面提到的降低犯罪率的创新应用，带来意想不到的价值。同时，数据分析产品的价值也与数据类型、数据周期、数据粒度有关，最终产品形态的可视化程度也会影响数据价值。从数据产品的形式来看，显然产品的智能化程度越高，展示的信息集中度越高，对决策的参考价值越大。在下一篇文章中，作者将进一步讨论和比较不同模式下的数据价值，以及对数据安全的一些新思考。