细细品味架构(第1期)_实时计算在点评

Hi,博友:

  欢迎查阅《细细品味架构》系列,本系列将和我一起学习,并慢慢走近架构师的神秘世界。

  本期目录:

1、本期内容... 3

1.1 版权申明... 3

1.2 内容详情... 3

1.2.1 实时计算在点评的使用场景... 3

1.2.2 实时计算在业界的使用场景... 4

1.2.3 点评如何构建实时计算平台... 5

1.2.4 Storm基础知识简单介绍... 6

1.2.5 如何保证业务运行可靠性... 8

1.2.5 Storm日常使用经验分享... 10

1.2.6 关于计算框架的后续想法... 13

1.2.7 现场答疑【Q&A】... 13

2、知识扩展... 15

2.1 腾讯实时计算平台... 15

2.1.1 实时计算的技术背景... 15

2.1.2 实时计算的实际意义... 16

2.1.3 TRC平台构成... 17

2.1.4 机遇与挑战并存... 20

2.2 流式大数据处理框架... 21

2.2.1 Apache Storm.. 21

2.2.2 Apache Spark. 21

2.2.3 Apache Samza. 22

2.2.4 三者共同之处... 22

2.2.5 三者的使用案例... 23

2.3 用SLA保证Web服务... 24

2.3.1 什么是 SLA?... 24

2.3.2 SLA 的发展... 25

2.3.3 用 SLA 保证 Web 服务... 25

2.3.4 SLA Web 服务体系架构... 26

2.3.5 为现实世界做准备:测试机制... 26

2.3.6 规则的例外情况... 26

2.3.7 潜在问题... 27

2.3.8 结束语... 27

2.4 Storm消息传输机制... 28

2.4.1 Netty代替ZMQ原由... 28

2.4.2 Netty架构简要剖析... 28

2.5 1号店电商峰值与流式计算... 30

2.5.1 1号店流式计算解决方案... 30

2.5.2 在实时计算多方面的成就... 31

2.6 系统吞吐量(TPS)等概念... 32

2.6.1 系统吞度量要素... 32

2.6.2 系统吞吐量评估... 33

2.6.3 了解一下“幂等”. 34

3、参考文献... 36

4、打赏小编... 37

  下载地址:

  CSDN:http://download.csdn.net/download/xia520pi/9057085

  豆丁:http://www.docin.com/p-1290690590.html

时间: 2024-10-26 10:43:36

细细品味架构(第1期)_实时计算在点评的相关文章

最新linux运维高级架构课13期 架构师课程

有会员购买的,分享给大家.完整一套,可以学习一下. ├─L001-2017linux运维高级架构师13期-运维与自动化运维发展-10节 │      1-1运维职业发展.avi │      1-2运维职业发展.avi │      1-3运维职业发展.avi │      10-1ITIL故障管理和问题管理.avi │      10-2ITIL故障管理和问题管理.avi │      10-3ITIL故障管理和问题管理.avi │      2-1运维知识系统和分类.avi │      2

实时计算storm流程架构总结

hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理.实时统计.实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询. 面对的大批量的数据的实时计算,storm实现了一个可扩展的.低延迟.可靠性和容错的分布式计算平台. 1.对象介绍 tuple:表示流中一个基本的处理单元,可以包括多个field,每个filed表示一个属性 topology:一个拓扑是一个个计算节点组成的图,每个

【Samza系列】实时计算Samza中文教程(三)——架构

本篇紧接着概念篇,从宏观角度上看一下Samza实时计算服务的架构是什么样的? Samza是由以下三层构成: 1. 数据流层(A streaming layer) 2. 执行层(An execution layer) 3. 处理层(A progressing layer) 那Samza是依靠哪些技术完成以上三层的组合呢?如下图所示: 1. 数据流:分布式消息中间件Kafka 2. 执行:Hadoop资源调度管理系统YARN 3. 处理: Samza API 玩过大数据Hadoop的人可以类比下面的

中国象棋《棋经论》及象棋布局歌诀,值得研究、细细品味

中国象棋<棋经论>及象棋布局歌诀,值得研究.细细品味 象棋博弈高手 2018-09-05 20:38:29 <棋经论> 夫弈棋者,要专心.绝虑,静算待敌,坦然无喜怒挂怀.大抵一局之中,千变万化.如车前马后,发炮逐卒:如电掣雷,炮铺卒行,逼近士.象,如狼奔虎跃.顺手炮,先要活车:列手炮,补士要牢:士角炮,急使车冲:当关炮,横车将路:破象局,中心进卒:解马局,车炮先行:巡河车,赶子有功:归心炮,破象得法:辘轳炮,抵敌最妙:重叠车,兑子最宜.马飞过角,车便巡河.未得路莫离本位,已得势便可

Spark 实时计算整合案例

1.概述 最近有同学问道,除了使用 Storm 充当实时计算的模型外,还有木有其他的方式来实现实时计算的业务.了解到,在使用 Storm 时,需要编写基于编程语言的代码.比如,要实现一个流水指标的统计,需要去编写相应的业务代码,能不能有一种简便的方式来实现这一需求.在解答了该同学的疑惑后,整理了该实现方案的一个案例,供后面的同学学习参考. 2.内容 实现该方案,整体的流程是不变的,我这里只是替换了其计算模型,将 Storm 替换为 Spark,原先的数据收集,存储依然可以保留. 2.1 Spar

实时计算,流数据处理系统简介与简单分析

转自:http://www.csdn.net/article/2014-06-12/2820196-Storm 摘要:实时计算一般都是针对海量数据进行的,一般要求为秒级.实时计算主要分为两块:数据的实时入库.数据的实时计算.今天这篇文章详细介绍了实时计算,流数据处理系统简介与简单分析. 编者按:互联网领域的实时计算一般都是针对海量数据进行的,除了像非实时计算的需求(如计算结果准确)以外,实时计算最重要的一个需求是能够实时响应计算结果,一般要求为秒级.实时计算的今天,业界都没有一个准确的定义,什么

实时计算平台

实时计算平台中的弹性集群资源管理 本文系微博运维数据平台(DIP)在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用,主要关注以下几个问题: 异构资源如何整合? 实时计算应用之间的物理资源如何隔离? 集群资源利用率如何提高? 集群运维成本如何降低? 1. 背景 这是我们初期的一个实时计算架构,大致划分为三个部分: (1)日志收集: 使用Rsynlog.Flume.Scribe汇聚各个业务方发送过来的日志数据:如果条件允许,业务方也可以直接将数据写入Kafka. (2)日志传输: 使用

Spark Streaming实时计算框架介绍

http://www.cnblogs.com/Leo_wl/p/3530464.html 随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐.用户行为分析等. Spark Streaming是建立在Spark上的实时计算框架,通过它提供的丰富的API.基于内存的高速执行引擎,用户可以结合流式.批处理和交互试查询应用.本文将详细介绍Spark Streaming实时计算框架的原理与特点.适用场景. Spar

实时计算平台中的弹性集群资源管理

本文系微博运维数据平台(DIP)在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用,主要关注以下几个问题: 异构资源如何整合? 实时计算应用之间的物理资源如何隔离? 集群资源利用率如何提高? 集群运维成本如何降低? 1. 背景 这是我们初期的一个实时计算架构,大致划分为三个部分: (1)日志收集: 使用Rsynlog.Flume.Scribe汇聚各个业务方发送过来的日志数据:如果条件允许,业务方也可以直接将数据写入Kafka. (2)日志传输: 使用Kafka作为日志收集组件与实时应