Impala隐藏的惊天秘密

元数据作为大数据的源泉,有着非常重要的作用。可在Impala中却隐藏着一个秘密?和元数据有着颇深的渊源,我们一起来追溯!

一、Impala体系结构

(1)每个slave节点运行一个Impala进程,和HDFS的DataNode进程同时协作

(2)两个其他的进程运行在master节点,用来支持查询执行

1、State Store进程:为ImpalaDaemon提供查找服务,并周期性地检查Impala进程状态

2、Catalog进程:把元数据的变更同步到所有ImpalaDaemons中

二、Impala如何执行查询

(1)Impala daemon查询执行过程

客户端(Impala-shell或Hue)连接到Impala daemon,它是Coordinator。Coordinator从State Store请求其他的Impala daemons,并把查询分发给其他的Impala daemons,最后返回结果给客户端。

三、元数据缓存

根据Impala的查询功能,我们可以知道在Impala里面存在元数据的缓存。元数据保存在Hive的Metastore里面,那么元数据缓存的作用是什么呢?就是在Impala启动的时候,将元数据缓存到Impala daemon的节点。当Impala daemon发起元数据变更的时候,比如说创建表,删除表,或者修改表的定义,这些都是可以缓存下来的。如果我们去查询表信息的时候,可以从缓存里面找到,直接在节点中进行查询,所以在每个Impala daemon里面有metadata cache节点用作缓存。

而当Impala进程改变了元数据,将会提示catalog服务,Catalog服务通知所有Impala daemons来更新缓存。

四、外部改变和元数据缓存

我们上面讲的都是内部的改变,然而很多时候还会有外部的改变,可外部的改变对于Impala来说是未知的,比如:

(1)Hive、Hcatalog或HueMetadata Manager改变了元数据

(2)数据直接添加到HDFS目录

外部的改变将导致Impala元数据缓存变得不可用,我们必须手动的刷新或验证Impala的元数据缓存。

当然,这种改变根据改变内容和性质的不同,有不同的方法去更新,比如:

有疑问,欢迎来吐槽,关注微信公众号“大数据cn”, 每天同行嗨不停,还有更多资源等着你!

时间: 2024-10-14 19:04:16

Impala隐藏的惊天秘密的相关文章

中石化牵手腾讯 背后隐藏了啥秘密?

中石化与腾讯之间长达半年之久的"绯闻"最终在8月26日坐实.当天,中国石化销售有限公司与腾讯科技签订业务框架合作协议,两方将建立长期.全面的战略合作伙伴关系,在业务开发与推广.移动支付.媒介宣传.O2O业务.地图导航.用户忠诚度管理.大数据应用与交叉营销等领域探索开展合作. 早在8月8日,中石化集团官网高层动态信息栏曾挂出的消息称,8月7日,中石化集团公司董事长傅成玉在总部会见腾讯公司总裁刘炽平一行.这也是截至眼下,全部传言将參与中石化销售公司混改合作的企业中,唯一在合作前被中石化公开

快速迭代的苹果、华为们背后隐藏着惊天的废品风口

前段时间,国际环保组织呼吁三星公开召回Note7的处理计划,引起了公众对电子废品处理方式的关注.而近年来,随着科技的发展,电子产品的更新换代尤其是华为.小米等智能手机,几乎是一日千里,这就导致了电子废品问题日益严重.随着人们环保意识的不断提升,过去不太受到重视的废弃电器电子垃圾回收行业开始引起人们的关注. 多个领域都折射出了电子废品回收是块大"肥肉" 如今,人手一台手机,电脑电视家家都有,社会早已经进入了数码时代.但是对于电子产品的回收产业链还远远没有成型,而且民众普遍没有电子产品回收

分享给微信好友的淘宝乱码中隐藏了什么秘密

马上要过生日了,我尝试在淘宝找到了自己喜欢的同款礼物,点击右上角分享到她的微信,看她能不能读懂我的小心思.这个分享的过程涉及到一段"乱码"(淘口令,后续均以淘口令来称呼),可别小看这段淘口令,它包含了很多信息.今天主要就是分享一下为什么淘宝分享出来的内容是淘口令?淘口令包含了什么信息?以及解析这段工具是怎么制作的. 这是一个系列文章,涉及淘客工具的使用与制作,后续陆续会完成一个整套系列工具的开发,欢迎收藏关注看整个系列.文中可能涉及到链接信息,仅仅只是做程序解释演示使用,并不能直接达到

多线程番外之真假*程

//写在之前 “有没有同学心里有疑问的,多线程才涉及那么很浅显的一点,为什么会惊现番外这一说呢,所谓番外,就是对正文做的补充,通常不录入正文,是作者主动在题材中加入的部分,那我为何要写这个番外呢,小二子你来说” “哥,是不是今天我做的饭太香了,你吃撑着了~” (啪~) “哥,你打我干啥” “我要不抽你,你能上天.你做的饭是好吃,哥这种敞亮人至于吃撑了嘛..好啊,你个小二子,你敢说哥是吃撑了才写这篇文章,我看你是找打,自己去拿洗衣棒去” “哥哥哥,不至于,您犯不上跟我置气,咱这博客还没写呢,大事要

字符串的replace()方法隐藏着什么不可告人秘密?

最近在做JS算法项目时发现一个令我匪夷所思的问题, 这里想记录一下问题. 首先介绍一下字符串replace()方法的基本用法. replace() 方法使用一个替换值(replacement)替换掉一个匹配模式(pattern)在原字符串中某些或所有的匹配项,并返回替换后的字符串.这个替换模式可以是字符串或者RegExp(正则表达式),替换值可以是一个字符串或者一个函数. 语法EDIT str.replace(regexp|substr, newSubStr|function[, flags])

电商下灰色产业链:优惠卷联盟的秘密

前段时间,笔者无意间被多年不联系的初中同学拉入了一个"XX秒杀团"中.原本只是屏蔽之后再无他事,但偶然间心血来潮却在群里发现"惊天秘密"--无论是淘宝.还是天猫,甚至是聚划算等中的很多商品,都能够在群里领取优惠券,将价格做到更低.作为网购"老鸟",笔者一直对这些秒杀团.优惠券联盟等,都早有耳闻,但没想到已经泛滥到这样的程度. 随着网购成为大众日常生活不可或缺的一部分,其中的门道也越来越多.层出不穷的电商平台.商业模式.商品种类.假货问题.税收政策

【翻译】西川善司的「实验做出的游戏图形」「GUILTY GEAR Xrd -SIGN-」中实现的「纯卡通动画的实时3D图形」的秘密,后篇

http://www.4gamer.net/games/216/G021678/20140714079/ 连载第2回的本回,  Arc System Works开发的格斗游戏「GUILTY GEAR Xrd -SIGN-」解说的后篇送到了.前篇的最后预告的那样,本回,是只能看到Anime的3D图形的2D格斗游戏产生所采用的细小方法为中心的介绍. 变形的几何体,替换几何体 GUILTY GEAR Xrd -SIGN-的图形,看上去是Cel Anime风格,并不是什么都采用Toon Shader.这

[深入理解Android卷一全文-第八章]深入理解Surface系统

由于<深入理解Android 卷一>和<深入理解Android卷二>不再出版.而知识的传播不应该由于纸质媒介的问题而中断,所以我将在CSDN博客中全文转发这两本书的全部内容. 第8章  深入理解Surface系统 本章主要内容 ·  具体分析一个Activity的显示过程. ·  具体分析Surface. ·  具体分析SurfaceFlinger. 本章涉及的源代码文件名称及位置: · ActivityThread.java framework/base/core/java/an

论王宝强事件黑客教你人肉搜索的七种方法

作为敢抢奥运会头条的男人,宋喆遭遇了围追堵截.这次全民捉奸不仅是娱乐圈的狂欢,科技圈也神乱入了一下: 如果没有广大黑客技术爱好者的参与,狗仔们似乎也无法在几天之内扒出宋喆的身世.爱好.住址.开房记录,用体无完肤来形容毫不为过. [网友总结的宋喆个人信息(保护公民隐私,敏感信息已被打码)] 实际上,黑客们认真捉起奸来,可以获得诸多让人惊讶掉下巴的奇异信息.雷锋网决定向顶级黑客请教一下,暂时抛开法律和道德因素,究竟怎样人肉一个人呢?或者从反面来说,如果你不小心爱上了明星的媳妇而成为了全民公敌,如何避