王宏志 黄河连线专访丨王宏志：如何成为大数据人才？（附彩蛋）

聚焦信息技术领域，为行业发声

引导阅读

在过去的两年里，大数据开始淹没我们的生活。有了大数据分析，购物网站可以更快地把我们喜欢的产品推给我们；有了大数据分析，智能APP可以帮助我们避免交通拥堵；有了大数据分析，我们甚至可以知道CPI(中华人民共和国居民消费价格指数)...据行业分析，预计2017-2020年国内大数据市场仍将保持30%的增速，到2020年将接近600亿元。到那时，大数据分析师也将炙手可热。如何理解和识别大数据？大数据分析的流程是怎样的？如何成为大数据分析专家？为此，黄河采访了哈尔滨工业大学的王红志教授。以下是采访记录:

大数据并不总是一种赞美

1.黄河连线:你是什么时候开始接触大数据的？

王红志:2000年我大三的时候，跟着导师做大数据研究。当时大数据不叫大数据，叫海量数据。我的课题组主要研究数据库、数据分析和数据挖掘。现在这些研究都属于大数据研究领域，所以我比较早研究大数据。

2.黄河连线:从那以后有没有从事大数据研究？我们现在应该关注大数据的哪些方面？

王红志:是的。现在我们的研究团队叫做哈工大海量数据计算研究中心。我们团队有十几个老师，40到50个博士研究生。目前研究范围比较广，包括大数据研究的整个链条:采集、传输、清理、管理、分析、挖掘、应用。在应用方面，我们主要关注医药、工业、生物和农业。

3.黄河连线:现在大家都在谈论大数据，不同领域的人对大数据的理解也不一样，那么你是如何理解大数据的呢？

王红志:大数据现在非常热门，每个人都在谈论它。但是，在很多情况下并不是一个好词。维基百科和百度百科对大数据的定义基本相似:用现有方法难以处理的数据称为大数据。目前关于大数据的观点很多，主要是通过处理难度、方法、价值的不同来定义的。除了以上观点，更被接受的观点有:大数据是一种依赖整体数量而非提取方式的数据，或者说大数据是一种具有很大应用价值的数据资产。

现在大家谈大数据，可能会有一些误解。

■第一，很多人认为所有的数据都是大数据。事实上，数据不同于大数据。大数据通常指规模大、变化快、价值密度低、多次购买，但数据和大数据没有明显的界限，这取决于应用需求。

■第二，大数据不完全是一个褒义词。在某些情况下，它指的是难以用现有手段处理的数据。从这个角度来说，大数据是个贬义词。

■三、“大数据不需要抽样方法，需要全量数据”，并不代表抽样方法不适合大数据。在某些情况下，抽样方法在大数据处理中也会起到一定的作用。

■第四，有人把大数据等同于云计算甚至Hadoop。云计算和Hadoop都与大数据息息相关，但大数据的范围比它们广得多。

■第五，大数据也是相对的。对于手机来说，1T数据是大数据，但是对于天河这样的高性能设备来说，1T数据不是大数据。

再说了，数据确实有用，但是有时候数据会骗人。著名机器学习专家迈克尔·乔丹曾经说过:大数据真的是几十年后才使用的。当然这句话有些悲观，但是大数据结论分析中有很多错误和无用的情况。

比如，有一次参加一个会议，有专家说，之前的研究发现，一个城市丢失车辆的数量与医院的数量呈正相关。这听起来很奇怪，但实际上很容易解释。人多医院多，人多丢车多。所以这两件事没有直接关系，这个结论价值不大。所以大数据的结论需要考察其真实性和价值，否则在应用上会出现问题。

4.黄河连线:有句话叫“有用的数据就是大数据”。你怎么看待这个问题？

王红志:数据是否有价值随着时间而变化。曾经毫无价值的数据，在需要的时候会变得有价值。比如一个企业的领导有战略眼光，在制造设备的时候，所有的设备运行数据都是收集起来存储在硬盘里的。平时没什么用，但当设备出现故障时，数据可以用来排除故障。这些数据以前都是没用的信息，这时候就发挥了价值。所以数据有没有价值是与时俱进的，这取决于数据的积累和研究者的技术水平。

但是大数据确实有一个特点，就是价值密度比较低，大数据分析是一个淘沙淘金的过程。比如网购上80%的评论一文不值，比如“很好”“哈哈”。但剩下的评论会包含很多对产品改进有用的部分，涉及到意见挖掘和情感分析领域，是大数据应用的重要组成部分。

大数据无处不在

5.黄河连线:生活中的任何数据都可以直接用于大数据分析吗？你一般是如何得到可以用来分析的大数据的？

王红志:大数据采集设备在生活中无处不在，生活中的所有数据都可以作为大数据来分析。比如手机从我们这里收集了很多信息，比如步态、脚步、位置等，都会被手机收集到。还有一个可以收集信息的监控系统。我国破案能力很高，很大程度上得益于无处不在的监控。

目前，我们在数据存储和分析方面仍然存在一些问题，导致分析不足。比如有些视频三个月或者六个月后就会被删除，那么多宝贵的数据就相当于没用了。事实上，这种情况也出现在一些工厂。工厂的视频监控可以记录工人高技能水平的操作，通过大数据分析，可以为生产过程获得许多有价值的东西。但是，这些显示器保存时间不长。此外，医院的医学图像和医学诊断数据对于未来的智能诊断非常有价值，可以用大数据进行分析、处理和生成。

获取大数据的渠道很多。我们处在大数据无处不在的时代，每个人都在无时无刻为大数据提供数据源。

6.连接黄河:获得可用于分析的数据后，需要做哪些工作才能分析出有用的结果？

王红志:为了获得可用于分析的数据，需要一系列的工作来获得预期的结果。首先，你需要从应用角度做顶层设计，比如什么样的模式，架构数据有；其次，我们需要通过信息集成来打破信息孤岛，包括模式匹配、数据对齐等技术，因为我们不能保证来自不同地方的数据的模式和形式是相同的。第三，要清理数据，控制数据质量，删除错误数据。第四，要做好数据管理，保证数据的有效存储，即可以保存和发现，从而保证任务的及时性，数据量和计算设备设计相应的算法。此外，在整个过程中，还涉及到数据安全和隐私保护。

7.黄河连线:大数据可以用来做什么？有哪些有趣的应用？有没有让你印象深刻或者对你的大数据研究感兴趣的应用？

王红志:例如，我们实验室在中国东北的寒温带地区做了一个种植蓝莓的项目。然而，蓝莓对其生长环境非常挑剔。以前的做法是人工栽培，经常查看蓝莓的情况，劳动强度很大。后来，我们开发了一种数据采集装置，可以远程判断蓝莓生长的环境是否发生了变化，更高效、及时地发现和解决一些问题。

这也适用于物联网技术，物联网技术是大数据非常重要的数据源。21世纪，云计算、物联网、大数据紧密相关，三者之间存在因果关系。没有云计算，就没有物联网。随着物联网的发展，数据越来越多，数据的快速积累导致了对大数据的需求。大数据的发展推动了人工智能的热潮。

之前听过一个电视厂商的大数据分析案例。电视机输出不稳定一直困扰着电视厂商。通过对历史数据的分析，发现困扰他们很久的产量不稳定问题，其实和车间的气压有关。气压和输出好像没有联系，很难想象。没有大数据分析，这个问题很难发现。

生活方面，阿里巴巴有自己的一套CPI指数(家庭消费指数)算法，根据网购价格计算CPI，结果和国家发布的CPI指数相当。而且这种方法成本更低，更贴近人们的生活，能够更准确、更快速地响应价格变化，这是通过大数据分析得到的。还有智能交通、地震海啸预警、传染病预警、车辆故障预警等等，都是大数据应用的例子。

8.黄河连线:你刚才提到了农业和工业的案例，所以我们生活中经常遇到的购物网站会自动推荐大家喜欢的不同产品。这也是大数据分析的一个应用吗？不知道它是怎么分析我的喜好的。

王红志:个性推荐系统是大数据产生价值的一个非常重要的应用。建立个性推荐系统的步骤和大数据分析的步骤基本相同。首先要解决的是信息源的问题，这个问题取决于用户的浏览和购买行为，用户特征或者用户历史上购买的产品。包含类似信息。从不同渠道收集数据后，需要对信息进行对齐，对行为相似的人进行分类，或者对不同数据源的信息进行对齐，以便协同使用。之后就是解决数据质量和数据管理的问题，去掉这里的错误，存储结构和索引结构，保证数据可以高效分析。最后是推荐算法的选择和设计。

其实个人喜好的分析并不神秘。我们在搜索、浏览、购买的时候，偏好已经明显暴露出来了。不仅如此，和我们相似的人的喜好也被暴露了。如果系统知道这些数据并进行分析，就很容易分析出我们的个人喜好。

如何成为大数据人才

9.黄河连线:通过你上面的介绍，我感觉大数据分析是一个很有意思的工作，那么成为大数据专员需要具备哪些素质呢？

王红志:大数据是一个很长的产业链，所以需要的员工也是一个完整的人才链。在我看来，在数据产品的开发中，首先要和生产一线的人沟通，这就需要大数据从业者把自己的需求转化为实际的软件需求。其次，需要数据科学家和架构师将实际需求转化为数据分析模型和数据分析系统架构。第三，需要系统工程师和算法工程师将模型转化为算法，将算法集成为一个有机系统，进行系统研发；最后，需要一个系统操作和维护工程师。大数据的管理分析系统比较庞大，需要专门的人才来保证大数据系统的持续稳定运行。这里有很多角色，每个角色需要不同的素质。

10.黄河连线:分析大数据的时候，有什么困难的工作吗？从你个人的成长经历和教学经历来看，你应该如何克服这些困难？

王红志:我可以根据我的经验谈几点。第一，大数据分析有限，且“链舞”。由于大数据规模大，对存储设备和处理时间有很多要求。比如有些数据需要秒处理，时间一长就没用了。比如心脏病和脑梗塞的预警。因此，在做大数据分析时，我们需要关注许多限制因素。这也给学术界带来了许多新的研究机会。

第二，大数据计算的理论基础目前还不完善。因为过去计算复杂度理论通常假设多项式时间约简，但这种假设在计算大数据复杂度的证明中可能不适用。因此，传统理论基础向大数据时代的发展需要一些新的理论和方法，正在探索之中。

第三，大数据分析的另一个难点在于做实验。因为大数据的相关实验需要大型机器，机器的配置也需要各种软件和调试，这也涉及到大数据，实验周期比较长。另外，数据源和数据应用也是个大问题。在实际应用中，做数据的人一般不擅长做业务，做业务的人不擅长做数据。所以在实际应用中，双方需要长时间的沟通和磨合才能很好的解决这个问题。

11.黄河连线:能给想学习从事大数据分析的人一些学习建议吗？

王红志:有很多关于大数据的书，入门书籍包括《大数据时代》。学习门槛不是很高，但是作为一个专业的程序员，你需要学习一些关于开发的知识，比如各种相关数据的使用。作为数据科学家，最好先从统计学和机器学习开始。吴希志的《复杂数据的统计方法》和周志华的《机器学习》是这两个领域的名著。

如果以后想掌握，可能需要学习更多大数据方面的专业知识和技能，学习数据库系统实现、数据库原理、分布式系统、统计学等方面的书籍。机械工业出版社在这方面的经典著作比较多。为了弥补市场上空的不足，我个人写了两本进阶书，一本是《大数据算法》，一本是《大数据分析原理与实践》。

在学习过程中应该非常注意。大数据领域的链条很长，需要很多角色。学习大数据的时候，要找到自己的定位。掌握所有关于大数据的知识是非常困难的。

声明:

一些图片来自互联网

黄河连线是太原九洲连线文化传媒有限公司的品牌

该平台的法律顾问为山西金商律师事务所

原文章黄河连接，请注明出处