淘宝十年 淘宝十年技术路

最近，我有幸读了《刘先生&质数》；s淘宝科技十年，带着巨大的情感去读。我会把书里的内容和自己的想法分享给你。毕竟希望得到园内前辈的指点~

一、淘宝的核心技术(国内甚至国际Top，这还是2011年的数据)

拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，24000核CPU，48000GB内存，40PB存储容量）全国分布80+CDN节点，能够自动找寻最近的节点提供服务，支持流量超过800Gbps，足以拖垮一个城市的流量不逊于百度的搜索引擎，对数十亿商品进行搜索，全球最大的电商平台顶尖的负载均衡系统，顶尖的分布式系统，顶尖的互联网思想，功能多样运行极其稳定丰富的生态产业以及先进的数据挖掘技术......很多很多

二、淘宝的诞生

2003年4月7日，马总偷偷把阿里巴巴的十名员工叫到杭州的一个秘密的空白房间，要求他们在一个月左右的时间内创建一个C2C网站。

当然结果是赶紧买。一个基于LAMP架构的网站，原名PHPAuction，是老梅开发的拍卖网站。当然，必须经过修改才能使用。(作为一个曾经用老梅开发的前端页面开发博客的同学，我真的觉得懒的和别人一起写更方便-_-，但是我相信许诸、三丰、多隆等前辈有足够的实力开发自己的网站——或者马总督促。)

当时财大气粗的eBay正在中国炫耀实力。此外，非典肆虐，人们可能对网购有了新的认识。淘宝故意低调，连阿里的员工都不知道这是自己公司的产品。

淘宝员工积极回答用户问题，早起贪得无厌，锻炼方式就是倒立。

淘宝的功能在不断完善，包括发布、管理、搜索、细节、购买等。，有三台服务器。因为数据量大，淘宝搜索慢(使用LIKE匹配...)，多隆的前辈们把搜索引擎iSearch搬到了阿里巴巴。

当时MySQL的默认存储引擎MyISAM造成了读写锁等待时间长等很多问题，所以出现了很多事故。

2003年底，淘宝注册用户23万，PV 31万/天，半年营业额3371万。

三、淘宝的更新

很明显，MySQL无法支持这么大的访问量，出现了数据库瓶颈。好在阿里的DBA团队足够强大，他们用的是Oracle而不是MySQL。

当时的Oracle有一个强大的并发访问设计——连接池，从连接池中获取连接的成本比单独建立连接的成本要小得多。然而，PHP当时并没有正式提供支持语言连接池的功能，所以多隆的前辈用谷歌(不是百度)搜索了一个开源的SQL Relay，暂时解决了数据库软件的瓶颈。

但是硬件容量不够。阿里买了NAS(后来因为严重延迟买了EMC的SAN低端存储)，加上甲骨文的高性能RAC，硬件容量暂时没问题。

开源是好的，但是大胆使用也是一个尝试的过程。SQL Relay会经常导致死锁问题，导致工程师不得不定期重启服务。从书中的描述可以看出，淘宝工程师真的很辛苦。

淘宝不会仅仅停留在为买卖双方提供一个交易网站，还需要建立完善的第三方系统来保证买卖双方的交易安全，于是支付宝诞生了。更麻烦的是，当时虽然很多银行开通了网银接口，但甚至不能保证支付后扣款成功，还需要工程师努力对账......

淘宝开发了一款IM软件——旺旺，不仅买家卖家都用，阿里也用它来交流。

第四，第一个里程碑

因为SQL Relay的问题太严重，2004年淘宝终于做了一个跨时代的决定——用Java重写网站(掌声~ ~ ~)。

有，淘宝请了孙的高级工程师帮忙搭建Java架构。那么他们如何在不改变网站用途的情况下修改编程语言呢？模块化更换。今天写了模块A，开了新域名。连接点指向该模块，而其他模块保持不变。当所有模块完成后，原域名被放弃。

使用的框架:淘宝架构师开发了自己的MVC框架——基于雅加达涡轮的WebX。而Sun公司坚持使用作为控制层(当时估计只有他们可以玩)，加上iBatis作为持久层，一个可扩展高效的Java EE应用就诞生了。和支付宝也是由同样架构的Sun工程师设计的。

送走孙的大牛后，阿里遇到了数据存储的瓶颈，于是忍痛买了一台IBM小型机(我猜至少是百万级的...)，还有一个类似IOE的传说(IBM+Oracle+EMC)。

2004年底淘宝注册用户400万，PV 4000万/天，全网营业额10亿。

第五，再接再厉

甲骨文也有处理上限。当数量级别为“1亿”时，Oracle服务器无法支持。数据库管理员将数据分成两个数据库，并根据标识的第一位数字来决定查询哪些数据。比如数据库A中有‘0’到‘7’，数据库B中有‘8’到‘f’，数据库c中有一般信息，但是‘3’和‘e’开头的数据怎么查询呢？数据库路由框架DBRoute由架构师编写，它统一处理合并问题，并且对上层透明。

Spring诞生了，众所周知，Spring框架在Web应用中是不可或缺的。在淘宝上，Spring达到了Rod Johnson设计的目的——取代EJB。

截至2005年底，淘宝注册用户1390万，PV 8931万/天，产品1663万。

说实话，我真的很佩服这么大数量的游客能这么强，但是考虑到未来的发展，这个设施结构勉强能满足目前的要求。于是，CDN技术应运而生。起初，它使用商业缓存。后来，它利用张博士建立了一个低能CDN网络。淘宝的表现越来越好。

截至2006年底，淘宝注册用户3000万，PV 15000万/天，商品5000万，全网营业额169亿元。

不及物动词创造技术

为了考虑交易的公平性，淘宝增加了交易快照功能，以图片的形式保存了当前的交易网页。淘宝的交易量太大，带来了一个问题——碎片图片太多。2010年，淘宝后端存了286亿张图片。

淘宝在2007年之前使用的是NetApp的商用存储系统，但仍然不足以应对快速增长的趋势。同年，谷歌公布了GFS的设计思路，淘宝也开发了自己的文件系统——TFS。至于这个文件系统的具体原理，书中没有详细介绍(我看不懂-_-)，但我们大概可以理解为它是专门为大量图片设计的，从每个用户1张图片到TFS上线后5张图片，再到1GB图片空，都得益于TFS集群的文件存储系统和大量图片服务器。淘宝使用实时生成缩小地图、全局负载平衡以及一级和二级缓存来确保最佳和高效的图像访问。

淘宝的服务器软件使用Tengine，一个优化的nginx模块。

淘宝也做过失败的产品，不是因为技术原因，而是市场原因。首先是“团购”，失败在于人的恶意。还是那句话，就是“我的淘宝”，用的是风靡全球的AJAX技术，但是太AJAX了，可能上手太难(马总自己说的)，还有“压岁钱”(被竞争对手广泛宣传为违背“免费”承诺)。

传统的数据库I/O对记录商品访问量的效率影响太大，所以淘宝使用缓冲技术，首先使用ESI(Edge Side Includes)解决碎片缓冲的问题。因为有些大商店访问量太大，频繁的I/O不值得损失，多隆的前辈写了TBstore，可以缓存大量数据。核心思想是使用Hash算法快速查找。它的核心是基于伯克利数据库(Berkeley DB)，一种类似内存的数据库，导致内存数据量大或者会被刷到磁盘，所以性能不太好。

后来淘宝把UIC(用户信息中心)分出来给所有模块打电话。多隆的前辈们又一次为它写了TDBM，这是完全基于内存的数据缓存(参考memcached)。然后淘宝把TBstore和TDBM合并，写了Tair，一个基于Key-Value的分布式缓存数据系统。然后升级了它的iSearch系统。

截至2007年底，淘宝注册用户5000万，PV 25000万/天，商品数量1亿，全网营业额433亿元。

七、更多技术

电子商务平台不可缺少的一个细节——商品类别的处理。由于商品的类别太大，如何按类别划分商品成为一个难题。伊登的机智前辈说，这些属性可以作为标签，直接“粘贴”在商品上(应该是这样的)。

2008年，淘宝分离支付宝。交易的底层业务称为TC(贸易中心)，涉及订单等原子操作。交易的上层业务叫TM(Trade Manager (TM)，不涉及物流的运营。

于是，第二个里程碑式的项目——系统拆分诞生了。这正是人力资源在阿里圆桌会议上所说的一位资深员工所做的——“更换高速飞机的发动机”。这些组件很难划分，我无法理解复杂的逻辑图...总之，淘宝中间件诞生了。

HSF(高绩效服务框架):核心，外号好舒服。见作者博文http://www . blog Java . net/blue big/archive/2008/01/24/177533 . html。

Notify(消息中间件):淘宝自主开发的消息队列产品。支持10亿+的新闻通知。

TDDL(分布式数据访问层):优化数据库路由，将JDBC和数据库分开，负责数据库的优化。

TbSession:由于Session保存在服务器中，但是用户可能会被动频繁地切换服务器，淘宝的设计思路是将Session信息保存在Cookie中，最后用Tair保存。

阿里的开放平台也很有历史意义，有兴趣的可以去http://open.taobao.com/index.htm看看

八.摘要

当你处于行业中间的时候，你可以向老板学习。当你成为行业老大，你需要不断超越自己，用自己的力量去改变整个行业，甚至整个世界。不管是华为还是阿里，当他们成为行业顶尖的时候，他们的责任就更重要了。

总觉得自己在想着随大流，但又不甘心。现在我有机会访问中国最好的互联网网站。我一直为自己这些年的努力感到荣幸，也不断鼓励自己。你需要变得更强才能融入这个群体。

任仲任重道远。纵观阿里淘宝这几年的发展，默默无闻但敢于探索和研究的才是最可爱的。如果遇到问题，他们永远不会认输，总会有办法解决的。就像阿里圆桌的HR说的“在座各位都是一掷千金”，我承认我有负罪感，我的身体不能保证一直毫无顾忌的战斗。虽然每天坚持跑步，但是基础还是不好。如果我想成为武林中人，我需要走很长的路。我可以有意志力。

坚持学习，努力学习，实践学习。希望能坚持这三条信条。

我佩服马总的思想和为人处事，佩服这么多有权有势，忠心耿耿，配得上自己社会地位的下属。

现在子柳雄的淘宝技术十年总结下来了，我相信淘宝还有很长的路要走，我的学习之路一定会一直走下去。

原文:https://www.cnblogs.com/gaozhenxi/p/4023012.html