【kevindurant】那些被大数据时代抛弃的人

微软蓬勃发展。有人问比尔盖茨关于IT产业的问题。

盖茨说，挺好有点noise。

原来的意思是噪音。这五个字母分别指的是五家公司：Netscape，Oracle，IBM，Sun，eMC。

这个双关语可以说是天方夜谭。我们先做个故事。

然而像许多门传奇故事，这个谣言只在中文世界中流传。盖茨是否说过这样傲慢霸道的话，暂时没有地方去核实。

谣言如此流行有一个重要原因。这一问答准确生动地概括了一个古老的时代：微软作为绝对统帅，加上NOISE这五家软件公司，IT企业同时销售软件、支付货款和送货。

科技的日子比臭男人的心快。以Google为代表

俗话说，没有免费的茶。当你使用一个没有钱的产品时，你很可能是产品本身的用户。

以我们这一代最聪明为代表的Google聚集用户，然后打包销售给广告商的商业模式受到了杰弗里·哈默巴赫尔（JeffreyHammerbacher）为我们这一代最聪明的商业模式正在思考如何让人们点击广告。

“哇，原来你不过只是一家广告公司！”同龄人的调侃让Google脸红，并谈到如何清理……偷书不能算是偷……偷书！……是学者的私事能算被盗吗？

科技圈洋溢着欢乐的气氛。

为了保护自己的技术公司的质量，Google发布了三条论文。围绕一个主题：如何处理数据。

随着网民和信息的爆炸式增长，Internet的海洋越来越广，Google每天收到30亿条搜索指令。一天内处理的数据量是美国国家图书馆所有纸质出版物的数千倍。即便如此，每次按enter键，搜索结果都会立即显示出来。这背后有什么魔力？

Google的论文这三段很别扭，充满了文字，分别介绍了三种技术：GoogleFileSystem，MapReduce，BigTable。千言万语总结为一句话：用分布式系统构建一套数据存储与分析系统。

在希腊神话中，普罗米修斯给人类带来了火。火极大地提高了人类的生产力。希腊人惜墨，没有引入普罗米修斯的外观。

别用专业词汇吓跑你，让我们边喝边聊，让技术变得简单。

传统技术是集中式单点体系结构。例如，如果你有一个助手，小明和什么事都会交给他。繁忙时间小明每天在公司睡觉，空闲时工作时玩手机。

Googlea分布式体系结构。例如，你的事业越来越大，现在即使你一天24小时工作，小明也无法完成。所以我们招募了三个分散的助手，smallA，smallB，smallC，每个人都履行自己的职责。

其原理简单，但实际情况却十分复杂，特别是考虑到现实的互联网正面临着大规模、高并发、实时在线等新的需求。

如何将信息分发到ABC？以什么标准？我不能随意划分，我一转身就忘了

因此每一次技术上的变化，首先肯定是线路和行业标准的争议。

DougCutting是个编程天才，从Google到追随者，他已经成长为一个有价值的对手。Google做了搜索，Cutting开发了Lucene/Nutch搜索。对于Google三驾马车，提出了MapReduce算法来处理海量数据，Cutting写Hadoop。

Hadoop出生于那一天，Cutting是雅虎的员工，背景是Google，微软，雅虎搜索引擎大战，烟雾弥漫。共Google

几年后，马云不得不处理和雅虎的打开和关闭。在一些地方，有困难。对于雅虎搜索，他仍然是等效的

在黑暗中，这是上帝的旨意。暂时不允许下表。

Hadoop一诞生，就聚集了一批技术巨头。原因很简单，Google团队在数据处理技术方面处于领先地位，每个人诸侯必须共同开发开源Hadoop。让我们用十八种方式来讨论诸侯和董卓。

科技界有爱恨情仇。开源Linux挑战微软的闭环Windows/Office。开源Android围攻苹果闭环iOS/iPhone。在Google的三节车厢对面，他们打着Hadoop的旗号，聚集在雅虎（Yahoo）、亚马逊（Amazon）、IBM、Facebook、阿里巴巴、华为……

什么新的东西是历史的重复。

只要看看这些眼花缭乱专业词汇，就可以明白，大数据这个东西，技术门槛不低。然而每一个市场参与者都希望积累数据，了解数据，挖掘数据，从而提高自己在商业竞争中的胜算。因此市场上的分工起到了一定的作用，还有一些公司：我买服务器，我建架构，你需要存储和处理数据吗？好的，我卖给你一项服务。

铛铛铛铛-一个新的产业，云计算，诞生了。

互联网时代只有刚刚开始，一切都没有名字，当提到他的时候，你还需要点。江湖中的机会无处不在：游戏、视频、O2O、软件、媒体、金融、垂直电子商务……

在混乱之中，亚马逊是最坚定地拥抱大数据/云计算的。

收集数据→处理数据→分析数据→向用户推荐产品，这套模式让亚马逊电商巨头尝到甜头。当时，亚马逊网站已经有了第三方店铺，亚马逊的初衷是让这些第三方商家也能享受到数字福利。这项服务名为AWS（AmazonWebServices），是云计算产业的起源。

贝佐斯（JeffBezos），一个青少年谢顶，只是剃了光头。当我想在这一生中成为一个硬汉时，打天下我和几个下属说了这句话：表面上，我胆小得像只鸡，但我内心却很坚强。

在过去的里，亚马逊电子商务越来越大。然而他并没有赚到钱，收入一直飞向太空，但利润却不断攀升。钱在哪里？贝佐斯致力于研发和未来。

如果利润不增加，股价就不会前进，华尔街总是愿意以最坏的恶意谴责贝佐斯。直到AWS业务盈利。亚马逊的股票价格终于上涨了，贝佐斯不仅成为云计算市场的头号人物，还接过了比尔盖茨世界首富的位置。

新闻出现在中国和大媒体中。为了观看北京奥运会，比尔盖茨在距离水立方不到180米的盘古大观中租了一个700平方米的庭院，花费了1亿元人民币。

此事传至比尔·盖茨耳中，盖茨回了两个字：假。

可以用这种新闻来卖房，也说明这个楼盘的业主是野路子。果然，在他完全把自己的名字混在闵粗体字中，非常闵敢。

许多人仍然相信假新闻。

我身边的朋友都知道，随着美股的趋势，易先生已经用冷静的行动缩小了自己与贝佐斯、比尔·盖茨等人之间的财富差距。给了我很大的信心。所以，我大胆地计算了新闻中的数据，四合院占地面积700平方米，租金每年1亿元，平均14万平方米。当时这个楼盘的价格只有5万。。。

良好的数据。不幸的是，我们这群蠢货B在“小数据”时代很容易作弊，我们如何在“大数据”时代生存？

在盖茨花费1亿美元租用假新闻满天飞的同时，杭州城西的阿里巴巴也遇到了麻烦。

总之，随着业务的扩展，阿里巴巴对数据的处理能力已达到极限。

如果大数据是新时代，那么人类如何处理“旧社会”中的数据？可以用一个词来概括，IOE-IBM服务器+Oracle数据库+EMC存储。

1O和E太强，无法在各自的字段中替换。事实证明，好的东西只有一个缺点-昂贵。

“去IOE”早已成为企业的代言人。考虑到经济成本和“支持国产”，以及赶上一次技术迭代（Linux的X86服务器挑战传统的Unix小型计算机服务器），中国企业开始了“去IOE”的旅程。

简单来说，这次“去IOE”失败。我们很快发现他们离不开IOE。总的来说，这只不过是在边缘和角落削减成本，放得开只是购买联想的PC，购买华为或浪潮的服务器。归根结底，除了IOE，市场没有一个好的选择。

你不是说好的东西只有一个缺点-昂贵吗。相比之下，数据的准确性和及时性是不能开玩笑的。尤其是金融企业。试想一下，当你的衣帽男谦逊地用六位数密码打开他的四位数账户时，ATM机器取款时，卡却的余额不会立即减少……？

因此去IOE最终让阿里巴巴扛起大旗，这仍然让我感到不可思议。

如何突破淘宝计算能力的限制？阿里选择的路径是：转到IOE，然后做阿里云。

步骤如下：完全依赖Oracle→采用Hadoop集群→构建单个集群中节点数最多的Hadoop集群→在自主开发的飞天平台上使用OpenDataProcessingService，开放数据处理服务）

我们已经听过千帆，绝处逢生的故事很多次了。

不过，我觉得没有必要夸大阿里云的苦涩。事实上飞天和ODPS是自主开发的，但是亚马逊和微软拥抱开源，他们是成功，不是吗？

另一方面，正是因为坚持自学，长期以来，一批程序员不堪重负，人才相继流失。另外，自主研发的技术在内部有优势，但在外部呢？这会成为晋升的障碍吗？例如，潜在客户考虑从阿里云购买服务，但是IT部门认为他们必须学习一个系统，所以他们说不，他们的身体也不想。

然而得失在人民心中，宝剑仍在江湖。这也是本文最终将带来的价值：相信竞争，让市场说话。

阿里云的诞生给中国科技界带来了许多新的东西。

一般认为阿里在2012结束时完成了对IOE的初步访问。

四年前，阿里云的计划刚刚破土动工，那是在如果大学毕业生能从甲骨文（Oracle）得到offer，那么谁会在秋天去BAT？

然而历史不是这样的吗——有些人不愿意维持现状，就使出浑身解数吹出此时此刻和自满最后的的挽歌。

阿里是亚太地区中Oracle的最大客户，有20个节点，亚马逊美国的17个节点。你想来多少也有点难过，你爱的两个客户，甚至都要进入你的行业。Oracle倒闭的经典时刻是中国研发中心去年的关闭和裁员，曾经令人羡慕的高级白领现在正站在北京城狩猎之风中，中英文混合横幅。

他们中的许多人比十年前进入BAT的学生要好。就像那首诗。

年轻人听着楼上的雨歌，红烛朦胧的落着张罗。在一艘听雨的客船中间，江阔云很低，破鹅叫着西风。

LarryEllison值得硅谷传奇，32岁时，他创办了Oracle，他曾经是数据库领域的王者长达。在2012中，在一次关于云计算的采访中，larryEllison对Bezos嗤之以鼻，他认为AWS没有未来，他可以用一口口水淹死他。Oracle终于将资金投入云计算。

你看，国王手里还有一把剑，但是江山不像十年前那样了。

IOE中的IBM不够好，PC业务被卖给联想，扬言专注于企业服务，光荣创下了营收连续22个季度同比下降的尴尬纪录。22个季度，这个数字不准确吗？哦，别怪我，我只关注22个月，谁将在IBM之后跟进。

住手。易先生说这不是为了杀人。时代总是这样，舞台中央的角落，你唱，我上台，人来人往。然而让技术走出聚光灯，在普通人和普通商业主题上开花是非常好的。

LarryEllison是NBA团队金州战士（warriors）的忠诚，几乎参加每一场主场比赛。甲骨文（Oracle）不仅命名了勇士体育场，而且几乎每年都有消息称球队将被全资拥有。然而在长达时间里中，勇士们不够优秀，甚至经常垫底，这是NBA不可或缺的背景板。

幸运的是，勇士们在硅谷。

硅谷对数据挖掘的痴迷让勇士们受益匪浅。NBA提倡明星突破和扣篮，但数据总是理性的，大数据说明三分球是一种更高效、更划算的赢球方式。Kuri（StephenCurry）与理想的NBA明星）相去甚远，但他在战士中非常重要，围绕着他的“死亡5小”组合，他赢得了73场常规赛比赛，打破了单赛季来乔丹的最佳记录，然后，他连续五年进入总决赛，并赢得了三次总冠军。

就像每一个商业王国，战士王朝最终瓦解了，杜兰特（KevinDuranT）因为勇士的内讧而被排除在布鲁克林网队之外。羞辱和荣耀，归属和背叛，兄弟和敌人，都在等待他回到那一天上甲骨文！

哦，顺便说一下，网络的老板是阿里巴巴第二号蔡。很奇怪，这个该死的圆圈怎么会这么小？

甲型流感H1N1在美国肆虐。

就在疫情爆发前几周。Google的工程师在《自然》上发表了一篇文章论文。核心思想是Google使用大数据技术来分析用户的搜索指令，从而使预判提前出现流感。

这种先知般的存在使Google变得美丽一塌糊涂。

如果您还记得，不久前，Google刚刚启动了Android系统。他将引领人类从PC走向手机！这真是Google把微软搞得一团糟，几乎每次新闻发布会都是对微软的一记耳光。

Google在Kirkland打开办公室，距离微软总部不到10公里Redmond。随着Google的疯狂，辞职信一封封被发送到微软CEO史蒂夫·鲍尔默（SteveBallmer）办公桌。九米大的大汉终于忍不住了，他更直接地问了“别TM告诉我，你TM也是去Google？”美国人，他回答说，“是啊，你怎么知道的哈？”Ballmer拿起椅子，直接撞了上去。

那是Ballmer可能会把椅子摔得发脾气。不要扔掉椅子，所有人都认为微软玩弄了这些人的青春，微软应该羞于向员工道歉。

Schen伯格（ViktorMayerSchnberger）在《大数据时代》中指出。什么是大数据时代？数据分析已经从“随机采样”、“精确求解”和“强调因果”的传统模型发展到“全体数据”、“近似求解”和“只看关联不问因果”新模式。

超市零售巨型target曾经是“小数据”时代的赢家。经过几轮实验发现，如果把啤酒放在尿布旁边，啤酒销量会大大增加。Target想不出来，后来，他解释说，他妈妈让他爸爸在超市买尿布，当他看到啤酒时，他认为他会奖励自己，所以他买了他。

在大数据时代，至少可以改进上述两个方面。首先，既然“啤酒+尿不湿”的提升方法可以在有限的实验之后找到，那么在实验室中，结合数字模式和大量实验有可能可以找到多少种提升方法？显然，零售的效率将爆炸式增长。第二，在网上找到“把啤酒放到尿不湿旁边”的推广方式，为什么一定要找个不好的理由？这就像汗流浃背，愚蠢地问却“我和你前X友们比，谁更棒？”找不到真正的答案，也不利于业务能力的提高。

不追求精确性，不追求因果关系，承认杂合性，探索关联性——这是大数据的时代。前副总统车平觉用了一个很好的比喻：先开枪，然后瞄准。

当然，大数据和云计算并非一帆风顺。

大展之后，预测流感趋势的GoogleFlu于全面关闭。第一个原因是隐私问题；第二个原因是反复出现的禁令和荒谬，特别是在反复出现疫情预警，但最终毛没有。

云计算，同样的挫败感。在网商银行获准开业的当天，支付宝在全国范围内瘫痪了2.5小时。阿里云作为中国和AWS第一的世界第一，经历了大规模的宕机和瘫痪。作为云计算的客户，你的业务完全瘫痪了，你的投诉电话也被打掉了，但是你的工程师却不能接触到有问题的服务器，你慌乱了吗？

然而不管有多少问题，没有人都会怀疑云计算的方式是否正确。

前的北京大学。27岁的胡适被蔡元培聘为讲师。北大学生有提问权威的传统，备课和提问胡适不能回答，所以年轻人知道“this is 北大”。

傅斯年事先被发送去听胡适类来探索实际情况。回来后，他对北大的学生们说，他们要捣乱

路是对的。大数据只是需要一些时间。除了技术的迭代，他是数据的积累。

打倒美国垄断资本家！欧盟重拳出击推出了《通用数据保护条例》（GeneralDataProtectionRegulation），为互联网企业获取数据设置了最严格的控制。把公民的隐私放在公司发展之前。

同样，如何选择中国来保护公民隐私和商业发展？作为行业领导者，李彦宏在接受采访时说：中国人对隐私不敏感。

百度可能习惯于喷入筛子。舆论痛恨你李彦宏来自北京大学，怎么能区分连“不在乎”和“没得选”？还是故意不区分？

在中国人对北大的精英仍然抱有不切实际的幻想的时候，想一想李彦宏并不容易。你为什么不自己去未名湖畔，因为胡适傅斯年还在乎呢？

不认为杭州师范毕业生是怎么说？“支付宝随时可以交给国家。”

这个王国。有人愿意批评Jack吗？

直接去数据，亲自感受云计算的市场布局。

根据Canalys的报告，在世界范围内云计算行业的市场份额中，AWS占32.3%，单独形成第一梯队，紧随其后的是微软Azure（16.9%）、谷歌云（5.8%）和阿里云（4.9%）。

客观地说，中国商业的数字化已经落后于欧美。根据《2018~中国公有云市场现状与发展趋势研究报告》、《2018中国企业上云报告》等文件，美国企业的云访问率高达80%，而中国的云访问率仅为30%。

值得肯定的是，中国市场业务数字化的前景非常广阔。知识青年上山下乡具有广阔的天地和巨大的成就。

然而从数据大国到数据功率，远非就这么简单。

尤其是当易先生看到很多文章解释大数据时，他常常把数据视为大数据行业的唯一标准——这样的说法太片面了。更重要的是，“只要XXX中国就一定能XXX”用激情的民族情感取代理性的商业常识的趋势，常常让我担心。

请允许我把大数据工业的工程图纸布置出来。

上面是大数据。

如果我们把大数据技术与武器相比较。所以数据只是粉末。火药存在于数千年前，不管多少钱，都不过是祭奠封建主义的鞭炮，现在，决定火药能否成为威力强大的子弹的关键是制枪技术。

易先生认为，引领中国走向大数据时代，要反对拔苗助长，要警惕“管得太多”，要相信敬畏市场，我们可以依靠创业。

在这个问题上，没有特殊的国情。互联网行业没有全国性的模式。你看过那部纪录片吗？马云在北京推广中国黄页，并在宣传司综合办公室“我跟你讲啊，这件事情你应该先约，办事程序应该你先约，你要不约的话呢，很难给你做一个很满意的回答。”……打断他

一开始，QQ没有赚钱，但是他耗尽了服务器，腾讯濒临破产。抱着中国移动的大腿，合作把QQ一起搬走，我们才能赚到增值业务的子账户，马化腾认为柳暗花明就要来了。移动已经推出了自己的产品“飞信”，企鹅踹开。中国移动不强吗？在那些日子里，企鹅的营收和利润不配，是吗？

当搜索行业有了明朗时，有没有人想培养一个更正能量的搜索引擎-即时。股东名单太多了，我甚至不能在文章里列中被点名，我还邀请了一位乒乓球大满贯的冠军担任总经理。现在，费腾呢？快搜，在哪里？

实际上，为了中国，我们必须允许和鼓励自由竞争。

事实上如果管理者真的想帮忙，可能有三件事可以做。一是培养人才。根据各种报道，以及易先生与从业者的交流，之前中国大数据产业的人才缺口约为100万，五年后将达到500万。

三是公开数据。之前，几乎所有公开数据都掌握在政府和BAT。既然数据就是价值，开放价值就好比战国时期在燕昭王于易水岸边建造黄金台来招募之士，谁是英雄），并当场画出一块黄金。

事实上美国也有振兴大数据产业的政策，而且比我们早，然而这不是补贴，而是公开了政府掌握的数据。奥巴马签署《开放和透明的政府指令》（transparencyandOpenGovernment），是美国大数据产业兴盛的土壤。

在奥巴马开头，我们引用了美国大法官路易斯·布兰代斯的名言：阳光是最好的防腐剂。

是的，阳光是最好的防腐剂。情况比人强。

别说了，喝。

举报/反馈