Hadoop公开课：完全分布式脚本分析

脚本分析start-all.sh

　　1）首先进入/soft/Hadoop/sbin目录

　　2）nano start-all.sh

　　sbin/start-all.sh主要做的事情：

　　1) libexec/hadoop-config.sh

　　2) start-dfs.sh

　　3) start-yarn.sh

　　3)cat libexec/hadoop-config.sh hadoop_conf_dir =etc/hadoop

　　4)cat sbin/start-dfs.sh

　　sbin/start-dfs.sh的作用：

　　1)libexec/hadoop-config.sh

　　2)sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...

　　3)sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...

　　4)sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...

　　5)sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...//

　　5)cat sbin/start-yarn.sh

　　libexec/yarn-config.sh作用

　　sbin/yarn-daemon.sh start resourcemanager

　　sbin/yarn-daemons.sh start nodemanager

　　6）cat sbin/hadoop-daemons.sh

　　sbin/hadoop-daemons.sh的作用：

　　libexec/hadoop-config.sh

　　slaves

　　hadoop-daemon.sh

　　7）cat sbin/hadoop-daemon.sh

　　sbin/hadoop-daemon.sh的作用

　　libexec/hadoop-config.sh

　　bin/hdfs ...

　　8）sbin/yarn-daemon.sh

　　sbin/yarn-daemon.sh作用

　　libexec/yarn-config.sh

　　bin/yarn

　　Start-all.sh ===config.sh----start-dfs.sh 和start-yarn.sh

　　Start-dfs.sh -----config.sh----(namenode,send,datanode)

　　Stop-dfs.sh------config---------------------------------------

　　hadoop-daemon.sh ----------->

时间： 2024-08-14 05:50:21

Hadoop公开课：完全分布式脚本分析的相关文章

爬取耶鲁大学公开课

耶鲁大学(Yale University)是一所坐落于美国康涅狄格州纽黑文的私立研究型大学,创于1701年,初名“大学学院”(Collegiate School),是全美历史第三悠久的高等学府,亦为常春藤盟校成员之一.该校教授阵容.学术创新.课程设置和场馆设施等方面堪称一流.除了研究生课程之外,耶鲁同时也非常注重本科生教育.在各个大学排名榜单中,都一直名列前茅. 所以,我们今天的目标是爬取耶鲁大学公开课信息,并将它们加以保存. 首先,我们打开耶鲁大学公开课的首页进行分析.可以看到,在表格中有着许

Hadoop大数据赵强老师免费公开课招募啦~~~~

Hadoop大数据公开课招募啦~~~ 赵强老师免费公开课 l  时间:2017年03月14号晚19:30-21:00 n  19:30-20:30讲述Hadoop的背景知识,包括:大数据背景.数据仓库.Hadoop的思想来源(Google的三大思想) n  20:30-21:00答疑 l  讲师简介 13年IT行业从业经历,清华大学计算机硕士,曾在BEA.甲骨文.摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问等要职,精通大数据.数据库.中间件技术和Java技术. 讲师详情链接:http:

Hadoop的shell脚本分析

你会发现hadoop-daemon.sh用于启动单独的本机节点 而hadoop-daemons.sh 会批量的ssh到别的机器启动 前记: 这些天一直学习hadoop,学习中也遇到了许多的问题,主要是对hadoop的shell脚本和hadoop的源码概念不够清楚,所以我就对hadoop的bin目录下的shell脚本进行了研究,有一些成果想记录下来,也希望大家前来批评指正. 分析原因: 很多hadoop的初学者对hadoop的脚本不是很清楚,不知道为什么可以在命令行中启动hadoop,也不知道为什

SXT分布式缓存技术公开课的观后感

最近几天在研究Redis,Redis作为最近比较流行的缓存技术,其特点还是很明显的,Redis使用Key-Value的结构来存储数据,Redis也是内存型的数据库,数据一开始是保存在内存中的,通过某些条件例如时间或修改了多少行,redis会自动把数据持久化到物理文件中,这次看了SXT的关于分布式缓存的公开课,其实主要是对于redis的介绍,发现有几个知识点还是要重点关注的: Redis有两种数据持久化机制,RDB和AOF,RDB指的是数据一开始是保存在内存中,经过一些条件例如15分钟或多少行数据

斯坦福ML公开课笔记15—隐含语义索引、神秘值分解、独立成分分析

斯坦福ML公开课笔记15 我们在上一篇笔记中讲到了PCA(主成分分析). PCA是一种直接的降维方法.通过求解特征值与特征向量,并选取特征值较大的一些特征向量来达到降维的效果. 本文继续PCA的话题,包含PCA的一个应用--LSI(Latent Semantic Indexing, 隐含语义索引)和PCA的一个实现--SVD(Singular Value Decomposition,神秘值分解). 在SVD和LSI结束之后.关于PCA的内容就告一段落. 视频的后半段開始讲无监督学习的一种--IC

斯坦福ML公开课笔记15—隐含语义索引、奇异值分解、独立成分分析

斯坦福ML公开课笔记15 我们在上一篇笔记中讲到了PCA(主成分分析).PCA是一种直接的降维方法,通过求解特征值与特征向量,并选取特征值较大的一些特征向量来达到降维的效果. 本文继续PCA的话题,包括PCA的一个应用--LSI(Latent Semantic Indexing, 隐含语义索引)和PCA的一个实现--SVD(Singular Value Decomposition,奇异值分解).在SVD和LSI结束之后,关于PCA的内容就告一段落.视频的后半段开始讲无监督学习的一种--ICA(I

hadoop启动脚本分析及常见命令

进程------------------ [hdfs]start-dfs.sh NameNode NN DataNode DN SecondaryNamenode 2NN [yarn]start-yarn.sh ResourceMananger RM NodeManager NM 脚本分析------------------- sbin/start-all.sh -------------- libexec/hadoop-config.sh start-dfs.sh start-yarn.sh

【直播预告】马哥linux运维系列免费公开课报名>>

[直播预告]马哥linux运维系列免费公开课报名>> 51CTO学院签约名师马哥携手业内知名技术大牛联合推出的"linux运维"系列,免费公开课再次重磅来袭!由三位神级技术工程狮联合打造,24k纯干货技术分享,从linux小白到实战运维各种实战经验嗨翻你的大脑! 小伙伴们,报名加入上课QQ群:123347555 :让我们一起进入开源世界,共同见证Linux的辉煌. 上课方式: 每周三晚上8:00-9:30   QQ群内直播   点击加群>> 资深技术工程狮: 马

【微职位公开课】老学长自述：如何成为年薪50W的技术工程师

大学刚毕业, 是不是得了工作选择恐惧症?确实,某种层面上讲,选择比努力更重要. 在此51cto沉淀了11年的IT资源,聚集了近两千名知名讲师以及最前沿的IT技能,在IT这个领域给大家做一个风向标公开课. 第一课:<老学长自述:如何成为年薪50W的技术工程师>(与马哥教育联合打造) 1.年薪50W的IT老兵个人成长经历(张冠宇老师) 2.互联网+趋势下IT技术潮流方向(张冠宇老师) 3.应届毕业生该如何选择?(张冠宇老师) 4.如何快速成为高薪IT技术工程师(张冠宇老师) 5.职业规划辅导和答疑