哪些网站需要大量资深工程师开发

先出一道题考考你:

下列哪个网站目前不需要大量顶尖高手开发

A.淘宝网
B.Facebook
C.何问起
D.百度

答案:http://hovertree.com/tiku/bjaf/861yt2f7.htm

你觉得怎么样呢?这道题是不是很简单。

那么问题来了,为什么很多看起来不是很复杂的网站比如 Facebook、淘宝,需要大量顶尖高手来开发?

就拿淘宝来说说,当作给新人一些科普。

想看看何问起网站的请访问:http://hovertree.com/

先说你看到的页面上,最重要的几个:
【搜索商品】——这个功能,如果你有几千条商品,完全可以用select * from tableXX where title like %XX%这样的操作来搞定。但是——当你有10000000000(一百亿)条商品的时候,任何一个数据库都无法存放了,请问你怎么搜索?这里需要用到分布式的数据存储方案,另外这个搜索也不可能直接从数据库里来取数据,必然要用到搜索引擎(简单来说搜索引擎更快)。好,能搜出商品了,是否大功告成可以啵一个了呢?早着呢,谁家的商品出现在第一页?这里需要用到巨复杂的排序算法。要是再根据你的购买行为做一些个性化的推荐——这够一帮牛叉的算法工程师奋斗终生了。

【商品详情】——就是搜索完毕,看到你感兴趣的,点击查看商品的页面,这个页面有商品的属性、详细描述、评价、卖家信息等等,这个页面的每天展示次数在30亿以上,同样的道理,如果你做一个网站每天有10个人访问,你丝毫感觉不到服务器的压力,但是30亿,要解决的问题就多了去了。首先,这些请求不能直接压到数据库上,任何单机或分布式的数据库,承受30亿每天的压力,都将崩溃到完全没有幸福感,这种情况下要用到的技术就是大规模的分布式缓存,所有的卖家信息、评价信息、商品描述都是从缓存里面来取到的,甚至更加极致的一点“商品的浏览量”这个信息,每打开页面一次都要刷新,你猜能够从缓存里面来取吗?淘宝做到了,整个商品的详情都在缓存里面。

【商品图片】——一个商品有5个图片,商品描述里面有更多图片,你猜淘宝有多少张图片要存储?100亿以上。这么多图片要是在你的硬盘里面,你怎么去查找其中的一张?要是你的同学想拷贝你的图片,你需要他准备多少块硬盘?你需要配置多少大的带宽?你们的网卡是否能够承受?你需要多长时间拷贝给他?这样的规模,很不幸市面上已经没有任何商业的解决方案,最终我们必须自己来开发一套存储系统,如果你听说过google的GFS,我们跟他类似,叫TFS。顺便说一下,腾讯也有这样的一套,也叫TFS。

【广告系统】——淘宝上有很多广告,什么,你不知道?那说明我们的广告做的还不错,居然很多人不认为它是广告,卖家怎么出价去买淘宝的广告位?广告怎么展示?怎么查看广告效果?这又是一套算法精奇的系统。

【BOSS系统】——淘宝的工作人员怎么去管理这么庞大的一个系统,例如某时刻突然宣布某位作家的作品全部从淘宝消失,从数据库到搜索引擎到广告系统,里面的相关数据在几分钟内全部消失,这又需要一个牛叉的后台支撑系统。

【运维体系】——支持这么庞大的一个网站,你猜需要多少台服务器?几千台?那是零头。这么多服务器,上面部署什么操作系统,操作系统的内核能否优化?Java虚拟机能否优化?通信模块有没有榨取性能的空间?软件怎么部署上去?出了问题怎么回滚?你装过操作系统吧,优化过吧,被360坑过没,崩溃过没?这里面又有很多门道。

不再多写了,除了上面提到的这些,还有很多很多需要做的技术,当然并不是这些东西有多么高不可攀,任何复杂的庞大的东西都是从小到大做起来的,里面需要牛叉到不行的大犇,也需要充满好奇心的菜鸟,最后这一句,你当我是别有用心好了。

转自:http://hovertree.com/h/bjaf/webfuzadu.htm

推荐:http://www.cnblogs.com/roucheng/p/chengxuyuan.html

时间: 2024-08-24 04:41:24

哪些网站需要大量资深工程师开发的相关文章

Android无线开发的几种常用技术(阿里巴巴资深工程师原创分享)

本文由阿里巴巴移动安全客户端.YunOS资深工程师Hao(嵌入式企鹅圈原创团队成员)撰写,是Hao在嵌入式企鹅圈发表的第一篇原创文章,对Android无线开发的几种常用技术进行综述. 嵌入式企鹅圈现拥有七个专栏(Linux内核驱动情景分析.资源紧缺型SOC嵌入式架构设计.嵌入式交叉工具链及其应用.嵌入式设计和编程.微信硬件平台和物联网解决方案.Android开发.开发资源共享).更多Android.Linux.嵌入式和物联网原创技术分享敬请关注微信公众号:嵌入式企鹅圈.我们百分百原创,资深工程师

前端工程师开发工具 & 订阅网站

工具 ? Sublime Text ? Eclipse ? WebStorm ? NPM 调试工具:Firebug.HttpWatch.fiddler.IETester.CSS Lint.Chrome 订阅与关注: 前端周刊 码农周刊 前端乱炖 前端观察 前端开发 奇舞周刊 CNode社区 AngularJS社区 InfoQ w3cplus Startup News Hacker News Node Weekly HTML5 Weekly Stack Overflow JavaScript We

移动智能设备功耗优化系列--前言(NVIDIA资深工程师分享)

本文是嵌入式企鹅圈原创团队成员.NVIDIA资深开发工程师Terry发表的第一篇文章,其将对"移动智能设备功耗优化"这个专题展开一个系列的总结分享.Terry毫无保留地总结分享其在主导NVIDIA多个项目开发中的移动设备功耗优化经验,极具价值! 随着智能移动设备的功能越来越多,CPU/Memory频率也越来越高,随之带来的功耗问题也越来越严重,如何延长手机的待机以及使用时间一直以来都是各个手机厂商不得不面对的问题.本专题将逐一为各位读者讲解一下当前主流的功耗优化策略以及一些实用的优化调

Android客户端性能优化(魅族资深工程师毫无保留奉献)

本文由魅族科技有限公司资深Android开发工程师degao(嵌入式企鹅圈原创团队成员)撰写,是degao在嵌入式企鹅圈发表的第一篇原创文章,毫无保留地总结分享其在领导魅族多个项目开发中的Android客户端性能优化经验,极具实践价值! 即日起,嵌入式企鹅圈将在之前五个专栏(Linux内核驱动情景分析.资源紧缺型SOC嵌入式架构设计.嵌入式交叉工具链及其应用.嵌入式设计和编程.微信硬件平台和物联网解决方案)新增Android开发专栏!更多Android.Linux.嵌入式和物联网原创技术分享敬请

Android资深工程师进阶之路

看到一篇文章中提到"最近几年国内的初级Android程序员已经很多了,但是中高级的Android技术人才仍然稀缺",这的确不假,从我在百度所进行的一些面试来看,找一个适合的高级Android工程师的确不容易,一般需要进行大量的面试才能挑选出一个比较满意的.为什么中高级Android程序员不多呢?这是一个问题,我不好回答,但是我想写一篇文章来描述下Android的学习路线,期望可以帮助更多的Android程序员提升自己.由于我也是从一个菜鸟过来的,所以我会结合我的个人经历以及我对Andr

Google资深工程师深度讲解Go语言全套

咱们每先多积累一分,时间越长你与其他人的差距就会越发明显,源于复利效应 课程目录第1章 课程介绍第2章 基础语法第3章 内建容器第4章 面向“对象”第5章 面向接口第6章 函数式编程第7章 错误处理和资源管理第8章 测试与性能调优第9章 Goroutine第10章 Channel第11章 http及其他标准库第12章 迷宫的广度优先搜索第13章 开始实战项目第14章 单任务版爬虫第15章 并发版爬虫第16章 数据存储和展示第17章 分布式爬虫第18章 课程总结 ◆因问题,百度网盘的链接分享被取消

阿里资深工程师分享支付宝热补丁技术—— AndFix原理

本文由嵌入式企鹅圈原创团队成员.阿里资深工程师Hao分享. 上次我们介绍了用dexposed方案实施热补丁的原理,它本质上就是hook要修改的函数,这样一来在正式版本发布时就不能直接拿热补丁的代码集成进去了,因为热补丁是按hook的思路,并且按照实现XC_MethodReplacement类的方式写的,正式的补丁还需要重新包装一边.更重要的是dexposed对art的支持并不好,大大限制了它的使用范围. 今天我们介绍的是AndFix方案:https://github.com/alibaba/An

手机实时社交新玩法,前YY工程师开发“叨叨”上线

叨叨iPhone版截图1与2 叨叨iPhone版截图3 传统互联网上实时社交已经是一片红海,有YY这样的纳斯达克上市公司,还有9158.六间房等拥有海量用户的产品.而目前移动互联网的实时社交领域,还远没有硝烟味.但这片新大陆已经开始被发现了,日前由前YY工程师团队打造的移动实时产品「叨叨」已完成天使轮融资,由李开复先生创办的创新工场领投. 想和某个朋友一起看电影而TA不在身边,想和某个朋友一起看<我是歌手>总决赛而TA不在身边,想和大学的室友一起看欧冠总决赛而大家天南地北.因为物理空间隔离,而

HCNP华为网络资深工程师 中级 腾科

HCNP-华为认证网络资深工程师 对应证书 华为认证网络资深工程师-HCNP(Huawei Certified Network Professional) 认证前提 无 适合人群 企业ICT技术管理人员和技术骨干等高素质网络技术人才: 希望学习和掌握操作华为网络设备组建安全.可靠.高效的大型路由.交换网络的人士: IP网络调测工程师.IP网络运维工程师.IP网络设计工程师以及希望系统深入掌握路由交换接入以及IP承载网技术的人士. 就业方向 项目经理.产品技术经理.IDC机房代维工程师.网络工程师