SparkStreaming 运行原理与核心概念

学习<Windows程序设计>记录 概念贴士: 1. 每个进程都有赋予它自己的私有地址空间.当进程内的线程运行时,该线程仅仅能够访问属于它的进程的内存,而属于其他进程的内存被屏蔽了起来,不能被该线程访问. PS:进程A在其地址空间的0x12345678地址处能够有一个数据结构,而进程B能够在其地址空间的0x12345678处存储一个完全不同的数据.彼此不能访问. 2. 在大多数系统中,Windows将地址空间的一半(4GB的前一半,0x00000000-0x7FFFFFFF)留给进程作为私有存

1.Hbase的表.行.列.列族 2.核心组件: Table和region Table在行的方向上分割为多个HRegion, 一个region由[startkey,endkey)表示,每个HRegion分散在不同的RegionServer中 client作用: 提供用户操作hbase的接口(shell.java的api接口) zookeeper作用: Zookeeper集群存储-ROOT-表的地址和Master地址(-ROOT-表在0.96.0之后已经被替换) RegionServer主动向Zo

简单罗列一下较为重要的点: 同步的问题 碰撞处理问题 rehash的过程 put和get的处理过程 HashMap基础: HashMap的理论基础:维基百科哈希表 JDK中HashMap的描述:HashMap Java中HashMap的实现原理和源码解读: 文章1:Java HashMap 核心源码解读 简要介绍了容量.装载因子.阈值的作用,结合put和get源码部分介绍了大致流程.但是没有详细说类似与碰撞和碰撞的解决办法,也没有提到关于同步的问题 文章2:HashMap实现原理分析 介绍了哈希

Spark Streaming应用也是Spark应用,Spark Streaming生成的DStream最终也是会转化成RDD,然后进行RDD的计算,所以Spark Streaming最终的计算是RDD的计算,那么Spark Streaming的原理当然也包含了Spark应用通用的原理.Spark Streaming作为实时计算的技术,和其他的实时计算技术(比如Storm)不太一样,我们可以将Spark Streaming理解为micro-batch模式的实时计算,也就是说Spark Strea

关注VX:数据科学讲堂,领取教程 1. Hive核心概念和架构原理 1.1. Hive概念 Hive由FaceBook开发,用于解决海量结构化日志的数据统计. Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能 本质:将Hive SQL转化成MapReduce程序. 1.2.Hive与数据库的区别 对变项 Hive 数据库软件 查询语言 HQL SQL 数据存储 HDFS Raw Devce or Loal FS 执行器 MapReduce Exe

1.环境 CDH 5.16.1 Spark 2.3.0.cloudera4 2.核心概念 官网: https://spark.apache.org/docs/2.3.0/streaming-programming-guide.html GitHub: https://github.com/apache/spark 2.1 StreamingContext 第一点 class StreamingContext private[streaming] ( _sc: SparkContext, _cp:

http://www.cnblogs.com/yinrq/p/5013742.html Memcached概念.作用.运行原理.特性.不足简单梳理(1) 大家可能对memcached这种产品早有了解,或者已经应用在自己的网站中了,但是也有一些朋友从来都没有听说过或者使用过.这都没什么关系,本文旨在从各个角度综合的介绍这种产品,尽量深入浅出,如果能对您现在或以后的工作有所帮助,笔者将感到无比荣幸. Memcached概念.作用.运行原理.特性.不足简单梳理(1) Memcached下载安装.NET

视频地址:https://www.imooc.com/learn/988 1.课程介绍 (一).区块链前世今生 密码朋克--神秘组织(邮件组) 2.区块链核心概念与原理 (一)比特币是数字货币 为什么叫区块链? 因为比特币系统里面的数据是一个个的区块来存储,并且通过hash方式将一个个区块链接起来.这样就形成了一个区块的链条叫区块链. 什么是比特币? 一串数字可以用于货币交换叫数字货币或虚拟货币--比特币 比特币就是一个虚拟货币,它的价值来源于大家的信任.在区块链中通常称为共识.(大家认为它有价

spark核心概念 我们之前介绍了spark的核心RDD,它是spark操作的基本单元.但是对于spark集群来说你还需要它的其它概念,比如我们操作RDD的时候,资源由谁来管理.任务由谁来执行等等. application:就是我们基于spark开发的应用程序,比如我们写的py文件,一个py文件就可以看成是一个基于spark的应用程序,它是由一个driver进程和多个executor组成.driver和executor是什么先不用管,总之记住一个基于spark的应用程序=1个driver+多个e