启动hadoop2.x historyserver

启动hadoop2.x historyserver（不启动historyserver的话，pig任务结束后，会报连接不上10020端口）

./mr-jobhistory-daemon.sh start historyserver

[root@ylchou sbin]# ./mr-jobhistory-daemon.sh start historyserver

starting historyserver, logging to /home/Application/Aleiye/enterprise/hadoop/hadoop-2.5.0-cdh5.3.0/logs/mapred-root-historyserver-ylchou.out

jps可以看到进程JobHistoryServer

时间： 2024-08-25 16:06:53

启动hadoop2.x historyserver的相关文章

windows下安装并启动hadoop2.7.2

windows安装hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事.下面把这几步细化贴出来,以hadoop2.7.2为例. 1.下载hadoop安装包就不细说了:http://hadoop.apache.org/->左边点Releases->点mirror site->点http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->

HA 模式下的 Hadoop2.7.4+ZooKeeper3.4.10搭建

一.概述本次实验采用VMware虚拟机,linux版本为CentOS7: 因为实验所需的5台机器配置大多相同,所以采用配置其中一台,然后使用克隆功能复制另外4份再做具体修改: 其中有些步骤以前配置过,此处就说明一下不再做具体配置,具体配置可翻阅以前的博文. 二.实验环境 1.关闭selinux和firewall 2.hadoop-2.7.4.tar.gz:zookeeper-3.4.10.tar.gz:jdk-8u131-linux-x64.tar.gz 三.主机规划 IP Host 进程 1

spark集群与spark HA高可用快速部署 spark研习第一季

1.spark 部署标签: spark 0 apache spark项目架构 spark SQL -- spark streaming -- MLlib -- GraphX 0.1 hadoop快速搭建,主要利用hdfs存储框架下载hadoop-2.6.0,解压,到etc/hadoop/目录下 0.2 快速配置文件 cat core-site.xml <configuration> <property> <name>fs.defaultFS</name>

hadoop 2.2 第二步 HA zookeeper 配置

第一篇文章还有要修改的地方,现在我的集群已经扩展到5台(虚拟机)有些配置还要改,这一篇记录一下Hadoop HA 和zookeeper的配置,方便自己以后看. 新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个).每一个都有相同的职能. 在HDFS(HA) 集群中,Standby 节点还执行着对namespace 状态的checkpoint 功能,因此没有必要再运行SecondaryNameNode. 这两个NameNode的地位如何:一个是active状态的,一个是s

如何通过web查看job的运行情况

当我们将作业提交到hadoop 的集群上之后,我们会发现一个问题就是无法通过web查看job运行情况,比如启动了多少个map任务,启动多少个reduce任务啊,分配多少个conbiner等等.这些信息都是作业在运行是可以查看的.而我的想要的就是能够通过远程的web可以查看到作业job的运行情况,以及它的详细信息.下面介绍一下查看的方式: 1.当你提交作业时,我们首先通过命令行的方式提交作业后,我们可以打开Yarn的web界面,如下图所示: 在这个页面上可以看到作业的提交情况,若你提交作业之后会出

sparkSQL1.1入门之五：测试环境之搭建

前面介绍了sparkSQL的运行架构,后面将介绍sparkSQL的使用.在介绍sparkSQL的使用之前,我们需要搭建一个sparkSQL的测试环境.本次测试环境涉及到hadoop之HDFS.hive.spark以及相关的数据文件,相关的信息如下: hadoop版本为2.2.0 hive版本为0.13 spark版本为1.1.0-rc3 MySQL版本为5.6.12 测试数据下载地点:http://pan.baidu.com/s/1eQCbT30#path=%252Fblog 中的sparkSQ

Flink 配置文件详解

前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧. 安装目录下主要有 flink-conf.yaml 配置.日志的配置文件.zk 配置.Flink SQL Client 配置. flink-conf.yaml 基础配置 123456789101112131415161718192021 # jobManager 的IP地址jobmanager.rpc.address: localhost # JobManager 的端口号jobmanag

hadoop2.5.2 启动发现DataNode没有启动启来？

hadoop2.5.2 启动成功后,用jps查看:感觉少了DataNode 确实少了DataNode. 查看日志: 从日志上看,画线的部分说明了问题 datanode的clusterID 和 namenode的clusterID 不匹配. 解决办法: 根据日志中的路径,cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹, 将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的cluste

hadoop2.5.2学习及实践笔记（四）—— namenode启动过程源码概览

对namenode启动时的相关操作及相关类有一个大体了解,后续深入研究时,再对本文进行补充 >实现类 HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh,查看start-dfs.sh可以看出,namenode是通过bin/hdfs命令来启动 $ vi start-dfs.sh # namenodes NAMENODES=$($HADOOP_PREFIX/bin/hdfs getconf -namenodes) echo "Starting namenodes o