从技术角度深度剖析你刷淘宝的那一瞬间

  随着以马云的淘宝为主导的电商不断地火起来,甚至“刷淘宝”成为了大多数人的日常,我们的购物体验也变得越来越好。作为搞技术的我们来说,这些体验的背后到底意味着什么?隐藏着什么?又是什么支撑着每个普通用户的那个刷淘宝的需求?

  当你在浏览器上,指尖轻轻进入www.taobao.com以后发生了什么?本文将从你在浏览器中打开点击这个网址(书签)开始分析,一直到你如何找到商品结束。适合各类读者了解仅仅访问一次淘宝首页,所涉及到的技术和系统规模。(这个问题以前在阿里的笔面试中出现过,这篇文章前半部分把这个问题每一步大概做了哪些事情以及涉及到阿里相关的技术做简单阐述,具体的分析和更形象的例子见后半部分。)想听故事的读者可直接跳到后半部分的故事

1. 查询DNS服务器进行解析

  在浏览器中键入的只是网址,那么浏览器要知道具体的服务器就要查询DNS服务器,将www.taobao.com转换成相应的IP地址。阿里旗下网站的每日访问量巨大,不可能将所有访问都解析到一个IP地址上,那么这一步就涉及到阿里的负载均衡系统。

2. 产生PV,同时如果是独立用户那么将产生UV

  PV指的是Page View,页面被刷新一次就记一次数。

  UV指的是User View,一个用户访问一次就记一次数,无论这个用户访问了多少个页面或者刷新了多少遍,都只记一次UV。

3. 从CDN中获取素材

  阿里旗下的网站,尤其是淘宝和天猫,富文本素材众多,那么如果都从服务器上读取的话,一来速度慢,二来对服务器的压力也大。所以这一步就涉及到阿里的CDN与分布式文件系统。阿里在全国建立了上百个CDN节点,CDN指的是内容分发网络。

4. 搜索

  这是很多上淘宝天猫要做的第一件事情,那么阿里的后台系统将搜索行为分为以下四个类型:浏览型、查询型、对比型、确定型。

  针对不同的搜索类型,会出现不同的结果。这里涉及到阿里的搜索引擎和日志系统。搜索引擎中包含了自然语言处理中文分词以及其他技术。日志系统是记载了用户做出的各类行为,比如查询、交易、取消交易等等,这些都会被保存下来。

5. 交易快照

  只要是进行过的交易都会记录下来,无论商品的信息是否发生了改变。保存这些信息是需要非常巨大的存储代价的,那么这一步就涉及到阿里的分布式存储系统,同时注意这些数据保存之前都是会进行压缩。

6. 数据传输

  无论是日志还是交易信息,乘以阿里每日的交易量都是一个很大的数据,所以阿里还开发了自己的数据传输系统。

7. 云梯

  最后,你在阿里旗下的所有网站的所有行为,都会使用大规模数据挖掘系统云梯进行分析,以求最大程度地还原和定位你这个人,所以可以说“阿里是掌握着中国大多数人钱袋以及购买习惯的公司”。

以上内容来自segmentfault


形象而具体的过程,来享受这个故事吧~(附原文)

  你发现快要过节了,于是想去淘宝买点东西,你打开了淘宝。下面来看看,当你在浏览器轻轻www.taobao.com  以后发生了什么?

  首先你的浏览器查询了DNS服务器(注:能够使人更方便的访问互联网,而不用去记住能够被机器直接读取的IP地址,例如192.168.1.1),现在DNS服务器将www.taobao.com转换成IP地址,机器能直接读取了。

  不过浏览器发现,在不同的地区或者不同的网络(电信、联通、移动)的情况下,转换后的IP地址很可能是不一样的,这首先涉及到负载均衡(注:相当于几万人的大学,一个食堂不够用,于是学校弄了五个食堂来服务所有的同学,这就叫负载均衡)。第一步,通过DNS解析域名时将你的访问分配到不同的入口,同时尽可能保证你所访问的入口是所有入口中可能较快的一个。

  好了,现在你通过这个入口成功的访问了www.taobao.com的实际的入口IP地址。这时你产生了一个PV(注: Page View,一次页面访问),每日每个网站的总PV量是形容一个网站规模的重要指标。淘宝网全网在平日非促销期间的PV大概是16-25亿之间。同时作为一个独立的用户,你这次访问淘宝网的所有页面,均算作一个UV(注:Unique Visitor用户访问)。卖火车票的12306.cn的日PV量最高峰在10亿左右,而UV量却远小于淘宝网十余倍,这其中的原因我相信大家都会知道。(注:因为频繁刷新)

  因为同一时刻访问www.taobao.com的人数过于巨大,所以即便是淘宝首页页面的服务器,也不可能仅有一台。仅用于生成www.taobao.com首页的服务器就可能有成百上千台,那么你的一次访问时生成页面给你看的任务便会被分配给其中一台服务器完成。(注:相当于学校有5个食堂,二食堂3窗口老是爆满,因为打菜的是个萌妹子。)

  这个过程要保证公正、公平、平均(注:这成百上千台服务器每台负担的用户数要差不多,就像食堂不能颠勺),这一很复杂的过程是由几个系统配合完成,其中最关键的便是LVS(Linux Virtual Server),世界上最流行的负载均衡系统之一,正是由目前在淘宝网供职的章文嵩博士开发的。

  经过一系列复杂的逻辑运算和数据处理,用于这次给你看的淘宝网首页的内容便生成成功了。

  据消息称,在双十一当天高峰,淘宝的访问流量最巅峰达到871GB/S(注:一秒钟871GB,如果你电脑硬盘是500G的话,相当于一秒钟,你的磁盘就被塞满了)。这个数字意味着需要178万个4Mb带宽的家庭宽带才能负担的起,也完全有能力拖垮一个中小城市的全部互联网带宽。那么显然,这些访问流量不可能集中在一起。并且大家都知道,不同地区不同网络(注:电信、联通、教育网等)之间互访会非常缓慢,但是你却发现很少发现淘宝网访问缓慢。这便是CDN(Content Delivery Network),即内容分发网络的作用。淘宝在全国各地建立了数十上百个CDN节点,利用一些手段保证你访问的地方是离你最近的CDN节点,这样便保证了大流量分散在各地访问的加速节点上,指不定你们家这块就有一个。

  这便出现了一个问题,那就是假如一个卖家发布了一个新的宝贝,上传了几张新的宝贝图片,那么淘宝网如何保证全国各地的CDN节点中都会同步的存在这几张图片供用户使用呢?这里边就涉及到了大量的内容分发与同步的相关技术。淘宝开发了分布式文件系统TFS(Taobao FileSystem)来处理这类问题。

  好了,这时你终于加载完了淘宝首页,那么你习惯性的在首页搜索框中输入了 ’月饼’ 二字并敲回车,这时你又产生了一个PV,然后,淘宝网的主搜索系统便开始为你服务了。它首先对你输入的内容基于一个分词库进行分词操作。众所周知,英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子I am a student,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道student是一个单词,但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词,有些人也称为切词。我是一个学生,分词的结果是:我是一个学生。

  进行分词之后,还需要根据你输入的搜索词进行你的购物意图分析。用户进行搜索时常常有如下几类意图:

  (1)浏览型:没有明确的购物对象和意图,边看边买,用户比较随意和感性。查询例如:”2013年10大香水排行”,”2013年流行雪纺衫”, “iPhone有哪个牌子好?”;

  (2)查询型:有一定的购物意图,体现在对属性的要求上。查询例如:”适合老人用的手机”,”500元手表”;

  (3)对比型:已经缩小了购物意图,具体到了某几个产品。查询例如:”iPhone 5 三星盖世三″,”三星 i9300 i9400″;

  (4)确定型:已经做了基本决定,重点考察某个对象。查询例如:”iPhone5″,”盖世三″。通过对你的购物意图的分析,主搜索会呈现出完全不同的结果来。

  之后的数个步骤后,主搜索系统便根据上述以及更多复杂的条件列出了搜索结果,这一切是由一千多台搜索服务器完成。然后你开始逐一点击浏览搜索出的宝贝。你开始查看宝贝详情页面。经常网购的亲们会发现,当你买过了一个宝贝之后,即便是商家多次修改了宝贝详情页,你仍然能够通过‘已买到的宝贝’查看当时的快照。那么显然,对于每年数十上百亿比交易的商品详情快照进行保存和快速调用不是一个简单的事情。这其中又涉及到数套系统的共同协作,其中较为重要的是Tair(注:淘宝自行研发的分布式KV存储方案)。

  然后无论你是否真正进行了交易,你的这些访问行为便忠实的被系统记录下来,用于后续的业务逻辑和数据分析。这些记录中访问日志记录便是最重要的记录之一,但是前边我们得知,这些访问是分布在各个地区很多不同的服务器上的,并且由于用户众多,这些日志记录都非常庞大,达到TB(注:1TB=1024GB)级别非常正常。那么为了快速及时传输同步这些日志数据,淘宝研发了TimeTunnel,用于进行实时的数据传输,交给后端系统进行计算报表等操作。

  你的浏览数据、交易数据以及其它很多很多的数据记录均会被保留下来。使得淘宝存储的历史数据轻而易举的便达到了十数甚至更多个 PB(注:1PB=1024TB=1048576GB)。如此巨大的数据量经过淘宝系统1:120的极限压缩存储在淘宝的数据仓库中。并且通过一个叫做云梯的,由数万台服务器组成的超大规模数据系统不断的进行分析和挖掘。

  从这些数据中淘宝能够知道小到你是谁,你喜欢什么,你的孩子几岁了,你是否在谈恋爱,喜欢玩魔兽世界的人喜欢什么样的饮料等,大到各行各业的零售情况、各类商品的兴衰消亡等等海量的信息。

  你刚访问了淘宝首页,而淘宝却做了这么多事情。

  说了这么多,其实也只是叙述了淘宝上正在运行的成千上万个系统中的寥寥几个。即便是你仅仅访问一次淘宝的首页,所涉及到的技术和系统规模都是你完全无法想象的,是淘宝3000多名顶级的工程师们的心血结晶,其中甚至包括长江学者、国家科学技术最高奖得主等众多大牛。同样,百度、腾讯等的业务系统也绝不比淘宝简单。你需要知道的是,你每天使用的互联网产品,看似简单易用,背后却凝聚着难以想象的智慧与劳动。

时间: 2024-08-25 18:05:56

从技术角度深度剖析你刷淘宝的那一瞬间的相关文章

淘宝刷单平台系统对商家有什么好处

很多商家还在用以前老旧的刷单模式,一刷就被淘宝查.有什么刷单模式解决这些问题,就是针对精准的用户标签做.这种最新型.安全性极高的刷单模式刷单平台系统.刷单平台系统颠覆传统刷单模式,采用货比三家+搜索+收藏+购物车+浏览+领券+旺旺聊天+收藏店铺+问大家+好评等等,且买手都是分布在全国各地真实买家,完全是真实搜索点击收藏加购等,避免流量过滤被查的风险. 淘宝刷单平台软件有什么功能 1.关键词搜索进店.一般来说,买家们都会根据关键词搜索进入店铺,帮派进店,淘客地址进店,微博进店等等.卖家在刷单的过程

记者卧底淘宝大卖家客服,曝光最新无线刷单方法,内幕让人震惊

今年淘宝一连续进行了好几轮打击刷单的动作,降权及关闭了很多店铺,无论是星级店铺.钻级店铺.还是皇冠级店铺,只要是查出刷单,都无一幸免!广大卖家陷入深度恐惧中,绝大部分店铺都不敢再刷单了.然而淘宝刷单带来的巨大利益,还是让不少卖家采用新的无线刷法继续逍遥法外的!记者在某皇冠大店潜伏做客服一段时间之后,才逐渐摸透这些卖家是如何逍遥法外的. 他们的无线新刷法,不仅高明,还非常狠!淘宝绝对无法通过技术手段来监控的!他们通过某些平台的帮助下,把传统的刷pc端,改成了刷无线端:把付费给专业刷单公司,改成让大

淘宝PK京东:哥刷的不是广告,刷的是存在

冯强/文 (昨晚看阿根廷vs瑞士时手机上敲的,看完太激动忘发了,现配了图发上来) 这两天,关于京东.淘宝渠道下沉的新闻中,两家略带喜感的农村墙体广告在互联网上传播,如下图: 京东这图片,越看越像PS的,有木有? IT媒体比较一致的分析是,除了城市的竞争外,电商渠道快速下觉,三线城市以成为必争之地. 这和传统渠道的竞争何其相似,彩电.猪饲料.计生宣传等墙体广告,大家已经熟视无睹,电商开始刷墙,争的眼球,刷的是存在感. 也许写这篇短文,无形中又为两家做了宣传,看到相关图片的同学随后又默默地在购物车中

小编卧底淘宝皇冠卖家,曝光淘宝新形态下的新刷单内幕

今年淘宝打击刷单力度空前巨大,广大卖家哀嚎一片,大部分人都不敢再刷了.然而刷单带来的巨大利益,还是让不少卖家采用新的刷法继续铤而走“险”!小编在某皇冠店卧底做客服一段时间之后,才渐渐研究明白这些卖家是如何铤而走“险”的. 他们的新刷法,非常高明!淘宝绝对无法通过技术手段查出来!他们主要在一些平台的帮助下,把刷pc端,改成了刷手机端:把付费给刷单公司,改成让大众买家来刷单:把高风险的刷单行为,变成了0风险.具体刷法,请让小编慢慢来给大家曝光. 请看上图,这是其中一个平台.卖家在这个“天天撸团”的平

淘宝严厉打击刷单,卖家应该如何进行突围?

今年电商普遍都很难做,因为阿里为了给美国的股民一个好看的报表,采取了严厉打击刷单的亮剑行动.卖家若再想通过刷单来带动销量,已经非常非常难了.阿里说的话,要想有饭吃,就给老子交保护费,要想吃到肉,就要交大把大把的保护费! 但是僧多粥少,即使真的给阿里交了保护费,很多时候,都只能喝到粥而已,甚至连粥都很难喝到.但是对于中小卖家来说,又有几个人能交的起保护费? 因此,广大卖家,不能坐以待毙,要通过各种方式来打破阿里的魔咒.这里小编给大家抛砖引玉,希望能给大家带来一些启发 米折.折800.卷皮.1折等网

安全刷信誉必备守则我要安安全全的完成我的淘宝皇冠梦想!

安全刷信誉必备守则我要安安全全的完成我的淘宝皇冠梦想! 1.要经常性的清除cookies!特别是换切淘宝账号时候,一定要清除cookies,清除cookies是安全刷钻的第一要务!切忌要清除干净,最好是使用IE右键清除!经常有人说淘宝会查IP,会查快递单,但是这些其实都是很难查,很难鉴定的.经过我们长期观察,不换IP但经常清除cookies,每天刷40.50个任务也是非常安全的.(建议把浏览器设成推出自动清除所有痕迹) 2.不要疯狂接任务和发任务!淘宝查刷信誉是靠一个监控系统24小时监控的,如果

网站刷流量,手机在线刷网站,淘宝流量,提升网站排名

网站刷流量 免费提供给站长提升网站排名的工具,无广告.无病毒.超高速多页面在线直刷网站.网页.淘宝店铺.空间博客等,从基础提高网站的访问次数,包括每日的PV数.IP数.在线停留时间等等,提升网站价值.网站权重,增加网站收录,提升关键词排名.警告:仅供提升您自己网站排名用,切勿非法使用该工具刷他人网站! 只要用浏览器或者微信扫一下二维码即可登录链接刷网站流量: 有图有真相:    手机应用:搜索 "网站流量刷" 360手机助手下载链接:http://zhushou.360.cn/deta

【福利】淘宝自助刷单平台源码

TaoShang TaoShang 是一个使用 .NET 开发的淘宝自助刷单平台.项目使用了 CSkin, Dapper(ORM),SQLite,Ninject(IOC)protobuf.net 等开源项目及远程桌面软件 AnyDesk.客户端与服务端使用基于 SAEA 的 Socket TCP 进行通信. 项目目录说明 starts2000 一些基础类库及基于 SAEA 的 Socket TCP 封装. Starts2000.SmartUpdate 程序自动更新客户端及服务端项目. Start

淘宝刷单兼职靠谱吗?刷单平台哪个好?

淘宝刷单兼职靠谱吗?刷单平台哪个好?很多人感觉淘宝刷单兼职是一个非常神秘的行业,他们都觉得是一个灰色行业,就比如我上次给我的一个亲戚说起了淘宝刷单兼职,一开始我给他说每天能赚一百以上的时候他觉得很有兴趣,当我又给他说怎么做的时候他竟然觉得是一个类似传销的组织,我哈哈的大笑起来,其实淘宝刷单兼职是一个非常正规的行业,淘宝刷单兼职既然存在了这么长时间,肯定会有它存在这么长时间的理由. 并且以后淘宝刷单兼职一直会存在下去,或许应该这样说,只要网络购物平台不会倒闭,淘宝刷单兼职就不会失败,就会一直做下去