读《张涛:12年老程序员在小米网干了什么》总结

原文网址:www.csdn.net/article/1970-01-01/2825895

1.对架构师得理解

成为一名架构师,最重要的是通过大量项目实战积累经验,经常总结,不断提高自己的认知水平和业务分析能力。保持对新技术持续不断的关注,特别是开源项目。

在大型复杂系统中,架构对整个系统的成败起决定作用。系统架构是从更宏观层面出发,结合业务需求,结合未来发展,足够抽象,具有良好可用性、扩展性、可靠 性的设计。架构设计对系统的影响是本质的、根本性的,决定了系统今后工作的质量、效率、维护成本。所以,好的架构设计不但能让业务运行的更健康,也能节约 成本。

2.小米网架构得发展

小米网这四年来大致经历了四个阶段:初创、学习、腾飞和夯实阶段。分别对应小米网订单量几个不同数量级的时期,每个阶段持续时间为5-12个月左右。

初创阶段:还曾经讨论过使用ECSHOP来搭建小米商城。三个工程师,两个多月,一台数据库服务器,两台web服务器;

学习阶段:学习凡客、好乐买、乐淘的业务流程和设计;

腾飞阶段:开发“大秒系统”,内部代号BigTap,专门应对瞬时并发抢购压力。将大秒系统整体迁移到AWS云上,平时只用几台,抢购时马上可以横向扩展几百台。系统间调用,数据共享也越来越频繁,随之而来的大麻烦是系统间耦合度越来越高。为此,开发了自己的异步消息服务系统(Notify系统)将网状结构改造为星状结构,完成了系统间的解耦。

夯实阶段,主要对系统稳定性,可靠性以及性能,容量进行升级改造。考虑服务化,建立自己的API管理平台,基于ETCD和Thrift实现服务自动发现和注册。也基于Redis开发了自己的通用分布式缓存系统,已接入数百个业务,总用量近2T。

3.如何面对业务调整带来的新技术学习问题

在遇到问题时,第一反应是:同行前辈们是怎么做的?有没有成功案例可以借鉴?为什么要这么做?有没有改进空间?再结合自身情况制定合理方案。永远保持对新技术的敬畏感和好奇心。

时间: 2024-10-10 14:15:02

读《张涛:12年老程序员在小米网干了什么》总结的相关文章

读《《Hadoop核心技术》作者翟周伟 :我与Hadoop的不解之缘》总结

原文网址:http://www.csdn.net/article/1970-01-01/2824661 1.Hadoop在百度得使用 Hadoop在百度的应用领域主要包括:大数据挖掘与分析,日志分析平台,数据仓库系统,用户行为分析系统,广告平台等存储与计算服务. 目前百度的Hadoop集群规模已经超过数十个至多,单集群节点数目超过5000台,每天处理的数据量超过8000TB.同时百度在Hadoop的基础上还开发了自己的日志分析平台.数据仓库系统,以及统一C++编程接口,并对Hadoop深度改造,

Hadoop阅读笔记(六)——洞悉Hadoop序列化机制Writable

酒,是个好东西,前提要适量.今天参加了公司的年会,主题就是吃.喝.吹,除了那些天生话唠外,大部分人需要加点酒来作催化剂,让一个平时沉默寡言的码农也能成为一个喷子!在大家推杯换盏之际,难免一些画面浮现脑海,有郁闷抓狂的,有出成果喜极而涕的,有不知前途在哪儿的迷茫与不安……总的来说,近一年来,不白活,不虚度,感触良多,不是一言两语能说得清道的明的,有时间可以做个总结,下面还是言归正传谈技术吧. 上篇在了解了Hadoop的目录和源码结构后,说好的要啃源码的,那就得啃.也感谢一直以来关注我.支持我的网友

Hadoop基础之初识大数据与Hadoop

前言 从今天起,我将一步一步的分享大数据相关的知识,其实很多程序员感觉大数据很难学,其实并不是你想象的这样,只要自己想学,还有什么难得呢? 学习Hadoop有一个8020原则,80%都是在不断的配置配置搭建集群,只有20%写程序! 一.引言(大数据时代) 1.1.从数据中得到信息 我们看一张图片: 我们知道这个图片上的人叫张小妹,年龄20岁,职业模特.但是如果只有数据没有图片的话,就没有意义的数据了.所以数据一定是在特定的环境下才有意义的. 我们再来看一张图片: 从这张图片分析出: 从纵向分析,

Hadoop Illuminated——Chapter3 Why do I Need Hadoop?

2019-11-25 22:13:53 GitHub:https://github.com/elephantscale/HI-labs/tree/master/hadoop-admin 作者Github:https://github.com/markkerzner 作者Github:https://github.com/sujee 英语好句:It is a minuscule token of thanks from both of us to the Hadoop community 这是我们

Hadoop实战视频教程完整版 完整的Hadoop大数据视频教程

分享一套迪伦老师的完整的Hadoop实战视频教程,教程从学习Hadoop需要的数据库.Java和Linux基础讲起,非常适合零基础的学员,课程最后结合了实战项目演练,理论结合实战,深入浅出,绝对是当前最为完整.实战的Hadoop教程. <Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技术:部署Hadoop集群 涉及项目:京东商城.百度.阿里巴巴 咨询QQ:1337192913(小公子)

Hadoop小文件解决之道之一 Hadoop archive

简介 hdfs并不擅长存储小文件,因为每个文件最少一个block,每个block的元数据都会在namenode节点占用内存,如果存在这样大量的小文件,它们会吃掉namenode节点的大量内存. hadoop Archives可以有效的处理以上问题,他可以把多个文件归档成为一个文件,归档成一个文件后还可以透明的访问每一个文件,并且可以做为mapreduce任务的输入. 用法 hadoop Archives可以使用archive工具创建,同上一篇讲的distcp一样,archive也是一个mapre

Hadoop中WordCount代码-直接加载hadoop的配置文件

Hadoop中WordCount代码-直接加载hadoop的配置文件 在Myeclipse中,直接编写WordCount代码,代码中直接调用core-site.xml,hdfs-site.xml,mapred-site.xml配置文件 package com.apache.hadoop.function; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import 

基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建

能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事. 现将前期手里面的一个项目做一个大致的总结,与大家一起分享.交流.进步.项目现在正在线上运行,项目名--基于Hadoop的数据分析综合管理平台. 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-->热点话题发现-->报表"实时"展示,使用到的技术也是当今互联网公司常用的技术:Hadoop.Mahout.HBase.Spring Data Had

[Hadoop in Action] 第2章 初识Hadoop

Hadoop的结构组成 安装Hadoop及其3种工作模式:单机.伪分布和全分布 用于监控Hadoop安装的Web工具 1.Hadoop的构造模块 (1)NameNode(名字节点) Hadoop在分布式计算和分布式存储中都采用了主/从结构.NameNode位于HDFS的主端,它指导从端的DataNode执行底层的I/O任务.NameNode是HDFS的书记员,它跟踪文件如何被分割成文件块,而这些块又被哪些节点存储,以及分布式文件系统的整体运行状态是否正常. 运行NameNode消耗大量的内存和I

企业级Hadoop 2.x入门系列之一Apache Hadoop 2.x简介与版本_云帆大数据学院

1.1 Hadoop简介 从Hadoop官网获得Hadoop的介绍:http://hadoop.apache.org/ (1)What Is Apache Hadoop? TheApache Hadoop project develops open-source software for reliable, scalable, distributed computing. TheApache Hadoop software library is a framework that allows f