读《淘宝技术这十年》 总结下web架构的发展

一php时代

最初LAMP起步

并将数据库做读写分离,拆分为主库+从库

2随着流量和交易量的增加,mysql扛不住了。。,开始寻求oralce的解决方案,部署oralce集群,使用sql relay连接池实现负载均衡

二 java时代

1把网站整体语言由php迁移到java

大致方案,将业务分模块,共用同一个数据库,一个一个替换老模块

2数据上亿后,进一步分库分表

3存储再次增加,使用缓存和cdn

CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容,解决 Internet网络拥挤的状况,提高用户访问网站的响应速度。

回顾:回顾一下上面几个版本,1.0版的PHP系统运行了将近一年的时间(2003年5月—2004年1月),服务器由一台发展到多台;后来数据库撑不住了,将MySQL换成了Oracle,引入了搜索引擎(2004年1月—2004年5月,叫1.1版本);然后不到半年的时间又把开发语言换成了Java(2004年2月—2005年3月,叫2.0版本),数据服务逐步采用了IOE;随着数据量和访问量的增长,我们进行数据分库、加入缓存、使用CDN(2004年10月—2007年1月,叫2.1版本)。这几个版本中间有些时间上的重合,因为很多架构的演化并没有明显的时间点,它是逐步进化而来的

TFS (Taobao File System)

解决海量图片存储问题

Tair 分布式缓存系统

缓存网页页面,提高

三分布式时代

进行系统模块拆分,引入中间件

集群、分工、负载均衡、根据QoS分配资源等

HFS

HSF是一个分布式的标准Service方式的RPC(Remote Procedure Call Protocol,远程过程调用协议)框架,

目前淘宝开发了新的框架dubbo,HFS的改进版。

TDDL 淘宝分布式数据访问层

再一次优化持久层,TDDl==DAL==DAO

进行数据切分

Session

解决集群Session共享的问题,通常有以下两种办法。

硬件负载,将用户请求分发到特定的服务器。

Session复制,就是将用户的Session复制到集群内所有的服务器。

Tbsession

Session客户端存储,session存到cookie中

实现分布式环境下的session服务器端存储

session配置统一管理

支持动态更新

测试,持续集成,还是有这些字眼啊

虽然很多都是抽象的东西,但是,在代码层次,还是这么些

测试,不测试的后果几乎无法想象,总体专业的测试不说,在小模块,小功能层次,由技术人员编写单元测试,或者直接采用测试驱动开发是必要的。

持续集成,不解释

重构,代码质量的基本功,而这个,唯有多敲才能学会

时间: 2024-08-27 09:43:03

读《淘宝技术这十年》 总结下web架构的发展的相关文章

《淘宝技术这十年》读书笔记 (三). 创造技术TFS和Tair

前面两篇文章介绍了淘宝的发展历程和Java时代的变迁: <淘宝技术这十年>读书笔记 (一).淘宝网技术简介及来源 <淘宝技术这十年>读书笔记 (二).Java时代的脱胎换骨和坚若磐石 马云说过"创新不是为了与对手竞争,而是跟明天竞争",所以这篇文章讲述淘宝的创新技术TFS和Tair及创新的产品. 该篇文章不仅仅对在读大学生非常有所帮助,因为你能从文章中看到很多你需要学习的知识,不仅仅包括数据库.计算机网络.操作系统.数据结构等基础课程:还根据时代的技术变迁讲述了

《淘宝技术这十年》读书笔记 (一).淘宝网技术简介及来源

我似乎是2007年初中看<赢在中国>的时候喜欢上马云的,当时对电脑都不是很了解,更别提阿里巴巴和淘宝网了.但当时还是被马云的几句点评深深地吸引,其中我印象最深的一句话就是"短暂的激情是不值钱的,只有长久的激情才是值钱的",以至于我在本科毕业德育答辩时用的题目就是这句话(德育答辩开题我用的题目也是马云的<If not now,when? If not me,who?>其含义是如果不是现在努力,什么时候努力呢?如果不是为了自己奋斗,又是为谁奋斗呢?).的确,想做成任

《淘宝技术这十年》重读笔记

序:<淘宝技术这十年>这本书在加入阿里之前就读过了,那时是以一种“仰视”的心态去读这本书,对书中描述的技术十分着迷(虽然不是全懂,但是感觉好厉害的样子).如今再回过头重读这本书,里面每一个技术要点,可能都是如今实际工作中会碰到的问题.于是我抱着重新梳理和整理的心态,再次阅读这部名著. 第0章:光棍节的狂欢 1.<你刚才在淘宝上买了一件东西>:打开域名=>查询DNS(负载均衡)=>找到入口IP=>打开首页(负载均衡LVS)=>多域名加载静态资源(CDN)=&g

《淘宝技术这十年》读书笔记 (二).Java时代的脱胎换骨和坚若磐石

马云说过"一个好的东西往往是是说不清楚的",姑且不论这句话的对与错.但我真的很佩服<淘宝技术这十年>这本书的作者子柳,能够通过淘宝的一些故事,按照时间顺序和IT发展的各种技术描述清楚,而且过程中读起来非常有意思. 该读书笔记中参杂了很多原文的知识,因为我实在无法割舍,都挺有意思的:同时记录一些有用的知识,通过这本书能介绍些学过的知识或面试中可能出现的题目及作者所思,文章还是非常有趣的,希望对大家有所帮助! 一. Java时代 脱胎换骨 我的师傅黄裳曾经说过"好的架

《淘宝技术这十年》读书笔记 (四). 分布式时代和中间件

前面两篇文章介绍了淘宝的发展历程.Java时代的变迁和淘宝开始创新技术: <淘宝技术这十年>读书笔记 (一).淘宝网技术简介及来源 <淘宝技术这十年>读书笔记 (二).Java时代的脱胎换骨和坚若磐石 <淘宝技术这十年>读书笔记 (三).创造技术TFS和Tair 这篇文章主要讲述分布式时代和中间件相关知识,包括服务化.HSF.Notify和TDDL.同时里面有我们经常遇见的编码错误等相关问题,希望文章对你有所帮助! 一. 分布式时代 1.服务化 在系统发展的过程中,架构

淘宝技术这十年-脱胎换骨的升级一一更换开发语言

到2004年上半年,淘宝网已经运行了一年的时间,这一年 积累了大量的用户,也快速开发了很多功能,当时这个网站已 经很庞大了,而且新的需求还在源源不断地增加.把一个庞大 的网站的开发语言换掉,无异于脱胎换骨,在换的过程中还不 能拖慢业务的发展,这无异于边换边跑,对时间和技术能力的 要求都非常高.做这样的手术,需要请第一流的专家来主刀. 现在再考一下 大家:亲,如果你在这个创业团队中, ì青什么样的人来做这件 事?我们的答案是请Sun公司的人.没错,就是创造Java语言的那 家公司,世界上没有比他们

20、淘宝技术这十年

淘宝技术这十年 淘宝技术这十年 作者介绍 子柳:本名赵超,2004年加入淘宝网,取花名子柳.历任开发工程师.项目经理.产品经理.测试经 理,2009年随着淘宝系统的大规模重构和人才的迅速扩张,创办了“淘宝技术大学”,培养内外部工 程师众多,人称“校长”.2011年将培训中的内容写成文章发表,遂一发不可收拾,总结了淘宝十年 的技术之路,乃成本书. 子柳 子柳,中国春秋时期鲁国政治人物,叔牙玄孙,武仲休曾孙,叔仲惠伯之孙. 叔仲皮生子柳.叔仲皮死,子柳之妻鲁人,丧服斩衰,头上用缪绖.叔仲衍请改成穗衰

《淘宝技术这十年》读书笔记——第一章 第二章

引言 ? ? 这本书的作者是子柳先生,子柳本名赵超,2004年加入淘宝网.历任开发工程师.项目经理.产品经理.测试经理,2009年随着淘宝系统的大规模重构和人才的迅速扩张,创办了"淘宝技术大学",因培养内外部工程师众多,人称"校长". ? ? 之所以读这本书,主要想了解淘宝的技术/业务发展过程中遇到过哪些问题,以及他们怎么解决的.在阅读的过程中有很多不懂的地方,主要是知识面确实涵盖的太广,就当拓展视野吧. ? ? 第一章 ? ? 淘宝架构初版 ? ? 淘宝的第一版源

淘宝技术这十年 第一章 第二章

作者:子柳先生,本名赵超,2004年加入淘宝网,取花名子柳.历任开发工程师.项目经理.产品经理.测试经理,2009年随着淘宝系统的大规模重构和人才的迅速扩张,创办了"淘宝技术大学",培养内外部工程师众多,人称"校长". ? ? 这本书,主要想了解淘宝的技术/业务发展过程,遇到了哪些问题,怎么解决的.在阅读的过程中有很多不懂的地方,纯属拓展视野,的确如书中所说,不同阶段的读者会有不一样的收货,我也会不止一次的读下去的. ? ? 第一章 ? ? 淘宝的第一版源代码直接从

淘宝技术这十年 第七章

? ? 正明 ? ? ? ? ? ? 博士期间开发了开源LVS,2000~2006年在国防科大教书:08年进淘宝,做LVS+HAproxy的普及,现在负责CDN系统的改良工作 : ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 毕玄 06年加入淘宝,负责淘宝的高性能服务框架,著作<OSGi原理与最佳实践>,推广OSGi在中国的应用: ? ? ? ? 看看他的每日时间分配:代码3小时.剩下来很多时间看技术文章或图书,每隔一段时间跳出来想想将来干什么好: ? ? 作为淘宝晋