Hadoop之——伪分布安装

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45769499

1.1 设置ip地址

执行命令    service network restart

验证:    ifconfig

1.2 关闭防火墙

执行命令    service iptables stop

验证:        service iptables status

1.3    关闭防火墙的自动运行

执行命令    chkconfig iptables off

验证:        chkconfig --list | grep iptables

1.4 设置主机名

执行命令    (1)hostname chaoren

(2)vi /etc/sysconfig/network

1.5 ip与hostname绑定

执行命令    vi /etc/hosts

验证:        ping chaoren

1.6 设置ssh免密码登陆

执行命令    (1)ssh-keygen -t rsa

(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证:        ssh chaoren

1.7 安装jdk

执行命令    (1)cd /usr/local

(2)chmod u+x jdk-6u24-linux-i586.bin

(3)./jdk-6u24-linux-i586.bin

(4)mv jdk-1.6.0_24  jdk

(5)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

(6)source /etc/profile

验证:    java -version

1.8 安装hadoop

执行命令    (1)tar -zxvf hadoop-1.1.2.tar.gz

(2)mv hadoop-1.1.2 hadoop

(3)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

(4)source /etc/profile

(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

(6)hadoop namenode -format

(7)start-all.sh

验证:    (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker

(2)在浏览器查看,http://chaoren:50070  http://chaoren:50030

1.9 启动时没有NameNode的可能原因:

(1)没有格式化

(2)环境变量设置错误

(3)ip与hostname绑定失败

时间: 2024-10-14 11:47:42

Hadoop之——伪分布安装的相关文章

吴超老师课程---hadoop的伪分布安装

1.1 设置ip地址    执行命令    service network restart    验证:         ifconfig1.2 关闭防火墙    执行命令    service iptables stop    验证:        service iptables status1.3关闭防火墙的自动运行    执行命令    chkconfig iptables off    验证:        chkconfig --list | grep iptables1.4 设置主

Hadoop伪分布安装

1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行(在上面的那一步即使我们关闭了防火墙,还是在有些情况下,防火墙会自动起来,那些情况就是下面的命令的结果为on的时候) 执行命令 chkconfig iptables off 验证: chkconfig --

hadoop1学习系列2-hadoop伪分布安装

1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址    1.1.1设置宿主机的VirtualBox Host-only Network网路设置         IP地址:192.168.56.1   子网掩码:255.255.255.0   默认网关:不填  1.1.2设置VirtualBox虚拟机的网路连接   网卡1:启用网路连接   连接方式:仅主机(Host-Only)适配器   高级:保持默认   1.1.3启动linux系统,(使用centos6.4)

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

hadoop伪分布安装步骤

2.hadoop的伪分布的安装步骤: 1.1设置静态IP 在centos桌面右上角图标,右键修改 重启网卡,执行命令service network restart 验证:ifconfig 1.2 修改主机名 <1> 修改当前会话中的主机名,执行命令hostname hadoop <2> 修改配置文件中的主机名,执行命令 vi /etc/sysconfig/network 验证:重启机器 1.3 把hostname和ip绑定 执行命令 vi /etc/hosts 增加一行192.16

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述. (一)Hadoop伪分布安装 1.简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布 分布:如果Hadoop对应的Java进程运行在多台物理机器上,称为分布.[集群就是有主有从] 伪

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的..eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误..下篇博客将重点讲述这个艰难的过程... 今天来说说hadoop2.4的安装和配置吧~ 1.环境的准备: 系统:CentOS JDK版本号:jdk7 系统须要包括ssh

Hadoop-2.6.0伪分布--安装配置hbase

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7

CentOS 6.5 伪分布安装

CentOS 6.5 伪分布安装 软件准备  jdk-6u24-linux-i586.bin .hadoop-1.2.1.tar.gz.hadoop-eclipse-plugin-1.2.1.jar . Eclipse-jee-indigo-SR2-linux-gtk.tar.gz 假设:  所有软件压缩包都放在  /home/hadoop 文件夹下. 1.JDK安装 1.1           root用户登录,使用命令 mkdir  /usr/local/program 新建目录progra