Hadoop伪分布式重启正确流程

既然是伪分布式，那就不可避免的设计到重启Hadoop服务或者重启Hadoop服务器的情况，正确的停止和重启是很有必要的。

首先是Hadoop服务的停止，使用

./sbin/stop-all.sh脚本来停止所有的Hadoop服务，这个脚本包含了两个脚本的内容，一个是./sbin/stop-dfs.sh，另一个是./sbin/stop-yarn.sh，具体的细节请直接查看脚本内容

重启是件比较麻烦的事情，像这种开源软件，一般都把主要的精力放在了功能的实现上，使用非常不便。

服务器重启后，直接使用./sbin/start-all.sh，莫名其妙会出错。每次都是，先格式化namenode,然后再启动所有，使用jps命令查看namenode和datanode是否都已经启动

如果启动不成功，删除掉./etc/hadoop/hdfs-site.xml中配置对应的namenode和datanode对应的文件夹，重试上一步，这个时候，请一定确保文件夹的读写权限。

原文地址：https://www.cnblogs.com/jourluohua/p/8757394.html

时间： 2024-10-13 08:24:29

Hadoop伪分布式重启正确流程的相关文章

Hadoop伪分布式集群搭建总结

Hadoop伪分布式集群搭建总结一.所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二.安装注意:对文件进行编辑:输入a,表示对该文件进行编辑,最后保存该文件,操作为:点击键盘上的Esc按钮,然后输入英文的:字符,再输入wq,点击回车,完成文件的保存.1.关闭防火墙和禁用SELINUX(1).永久关闭防火墙,重启Linux系统(2) .禁用SELINUX:修改文件参数重启Linux使其生效(3).检查防火墙是否运行,显示下图即为关闭2.配置hostname与IP

Hadoop伪分布式环境配置

Step1:关闭防火墙 service iptables stop[status] service iptables status chkconfig --list |grep iptables chkconfig iptables offStep2:修改IP (重启网卡:service network restart)Step3:修改hostname /etc/hostsStep4:SSH免密码登陆产生密钥(~/.ssh中)ssh-keygen -t rsa cd ~/

Hadoop伪分布式搭建步骤

说明: 搭建环境是VMware10下用的是Linux CENTOS 32位,Hadoop:hadoop-2.4.1 JAVA :jdk7 32位:本文是本人在网络上收集的HADOOP系列视频所附带的课堂笔记(这里直接抄过来的,望原谅,我不是坏人),记录备忘. 开始前让我们简单修改下LINUX系统的JDK:一般情况下,我们都要将linux自带的OPENJDK卸载掉,然后安装SUN的JDK(下面的代码来源网络,请注意真实自己环境) <1> 查看已经安装的JAVA版本信息 # java -vers

hadoop 伪分布式搭建

1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置wi

Hadoop - Hadoop伪分布式搭建

进行Hadoop伪分布式搭建时,需要有一定的Linux命令基础, 因为Hadoop是搭建在Linux环境上的开源框架, Hadoop的框架最核心的设计就是:HDFS和MapReduce. 本文也主要讲述HDFS和MapReduce环境的搭建. 搭建环境: 虚拟机: VMware10 操作系统:CentOS-6.5 JDK版本:jdk-8u171-linux-x64 Hadoop版本:hadoop-2.7.3 使用工具:Xshell 6,Xftp 6,Notepad++ 虚拟机ip地址:192.1

阿里云服务器centos7.3下搭建hadoop伪分布式环境

一.软硬件环境 CentOS 7.2 64位 OpenJDK-1.8.0 Hadoop-2.7 二.安装SSH客户端安装ssh: yum install openssh-clients openssh-server 安装完成后,使用以下命令测试: ssh localhost输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题. 配置SSH免key登陆 hadoop是一个分布式系统,节点间通过ssh通信,为了避免在连接过程中人工输入密码,需要进行ssh免key登陆的配置,由于本

Hadoop伪分布式的部署

一.部署前的准备 (1)软件一个空白的CentOS映像文件 Xshell(用于传输文件) (2)虚拟机配置网络配置:网络适配器选择桥接 ip地址.子网掩码.网关.DNS服务器地址 =>可以在安装时的图形界面完成配置 =>也可以 vim /etc/sysconfig/network-script/ifcfg-ens33 修改具体如下: IPADDR="192.168.124.x" (和网关在同一网段) NETMASK="255.255.255.0"

Hadoop伪分布式的搭建

实验平台: Virtual Box 4.3.24 CentOS7 JDK 1.8.0_60 Hadoop 2.6.0 Hadoop基本安装配置主要包括以下几个步骤: 1)创建Hadoop用户 2)安装Java 3)设置SSH登陆权限 4)单机安装配置 5)伪分布式安装配置 1.1 创建Hadoop用户 linux创建用户的命令是useradd,设置密码的命令是passwd 在CentOS下,首先我们通过useradd命令创建一个Hadoop用户组,它的密码也是Hadoop: useradd ha

Hadoop初体验：快速搭建Hadoop伪分布式环境

0.前言本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建,以达到快速搭建的目的,从而体验Hadoop的魅力所在,为后面的继续学习提供基础环境. 对使用的系统环境作如下说明: 操作系统:CentOS 6.5 64位主机IP地址:10.0.0.131/24 主机名:leaf 用户名:root hadoop版本:2.6.5 jdk版本:1.7 可以看到,这里直接使用root用户,而不是按照大多数的教程创建一个hadoop用户来进行操作,就是为了达到快速搭建Had