hadoop之伪分布搭建环境

1. 修改主机名字  临时修改(session): sudo hostname orcll

/etc/sysconfig/network -> HOSTNAME=hadoop0 #localhost.localdomain    shutdown -r now 2.将hostname与ip绑定

添加/etc/hosts文件 ping hadoop0

3.关闭防火墙

1 service iptables stop
2 chkconfig iptables off
3 --  service iptables status  chkconfig [--list]|grep iptables  

4.免密码登陆

1 ssh-keygen -t rsa
2          id_rsa id_rsa.pub
3 cp id_rsa.pub authorized_keys
4
5 ----  service sshd start  chkconfig sshd on

问题:出现ping baidu.com     connect: Network is unreachable

解决:

1>linux主动添加网关(GATEWAY):   route add default gw 192.168.191.100 dev eth0

2>/etc/sysconfig/network-scriptings/ifcfg-eth0   设置GATEWAY=192.168.191.1

命令:

重启network: service network restart

查看路游表:  route

如果没有安装ssh:    #yum install ssh(先可以访问外网)   yum -y install openssh-clients   yum -y install openssh-server

ssh localhost

5.安转jdk

tar -vxf /opt/hadoop/jdk-8u25-linux-x64.gz.jar  编辑/etc/profile文件,在文件嘴上放添加   export JAVA_HOME=/opt/hadoop/jdk1.8.0_25   export PATH=.:$JAVA_HOME/bin:$PATH  source /etc/profile  java -version

6.安装hadoop

tar -zxvf hadoop-1.1.2.tar.gz  编辑/etc/profile文件  export HADOOP_HOME=/opt/hadoop/hadoop-1.1.2

source /etc/profile

修改hadoop配置文件

hadoop-env.sh

1 设置jdk环境路径,第九行

core.site.xml

1 <property>
2   <name>fs.default.name</name>
3   <value>hdfs://hadoop0:9000</value>
4   <description>change your own hostname</description>
5 </property>
6 <property>
7   <name>hadoop.tmp.dir</name>
8   <value>/usr/local/hadoop-1.1.2/tmp</value>
9 </property>

hdfs-site.xml

1 <property>
2   <name>dfs.replication</name>
3   <value>1</value>
4 </property>
5 <property>
6   <name>dfs.permissions</name>
7   <value>false</value>
8 </property>

mapred-site.xml

1 <property>
2   <name>mapred.job.tracker</name>
3   <value>hadoop0:9001</value>
4   <description>change your own hostname</description>
5 </property>

格式化:hadoop namenode -format 启动:start-all.sh

验证:jps

http://hadoop0:50070/dfshealth.jsp http://hadoop0:50030/jobtracker.jsp

时间: 2024-10-14 11:47:40

hadoop之伪分布搭建环境的相关文章

大数据学习:Hadoop中伪分布的搭建

<注:我们假设使用的是一个没有进行过任何配置的Linux系统,下面我们开始进行伪分布的搭建> 1.设置IP 地址 设置完成后,执行命令:service iptables restart 验证:         ifconfig 2. 关闭防火墙 执行命令        service iptables stop 验证:                 service iptables status 3.关闭防火墙的自动运行 执行命令        chkconfig iptables off

hadoop学习;hadoop伪分布搭建

先前已经做了准备工作安装jdk什么的,下面开始ssh免密码登陆,这里我们用的是PieTTY工具,当然你也可以直接在linux下直接操作 ssh(secure shell),执行命令 ssh-keygen -t rsa产生密钥,位于~/.ssh文件夹中 \ 一路enter 复制为文件authorized_keys 登陆成功和退出 接下来传输jdk和hadoop文件,这里用的工具是WinScp(类似ftp上传工具),有的虚拟机可以设置直接从物理机拖拽,我这放到/root/Downloads下 然后复

HBase伪分布搭建

HBase的伪分布搭建 安装版本: hbase-0.94.7-security.tar.gz 下载路径: http://hbase.apache.org 1. 解压缩,重命名,设置环境变量 1 cp hbase-0.94.7-security.tar.gz /opt/ 2 3 tar -zxvf hbase-0.94.7-security.tar.gz 4 5 mv hbase-0.94.7-security.tar.gz hbase #设置环境变量 1 vi /etc/profile 2 ex

搭建Hadoop的伪分布环境

搭建伪分布环境 上传hadoop2.7.0编译后的包并解压到/zzy目录下 mkdir /zzy 解压 tar -zxvf hadoop.2.7.0.tar.gz -C /zzy ? ? 配置hadoop 注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop ????伪分布式需要修改5个配置文件 第一个:hadoop-env.sh ????????vim hadoop-env.sh ????????#第27行 ????????export JAVA_HOME=/usr

hadoop单节点伪分布搭建

hadoop版本:2.7.1 jdk:1.7 OS:ubuntu 14.04 1.开启ssh免密码登录 ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys 这里不多做赘述,没有开启的请 google.baidu(搭建java环境也同样) 2.修改core-site.xml(path:etc/hadoop/) <configuration> <property> <name>fs.defaultFS</

hadoop安装 伪分布

伪分布hadoop 安装总结 准备,在配置中hadoop用的9000端口,如果有其它软件用着这个端口,建议更换后再进行下面配置,以避免出现错误.比如php-fpm经常使用9000端口. 一.下载jdk下载linux 64 8u73-64位版本tar zxvf jdk-8u74-linux-x64.tar.gz -C /usr/local/ 二.下载hadooptar zxvf hadoop-2.6.4.tar.gz -C /usr/local/ 配置项: vim /etc/profile.d/h

一:搭建Hadoop的伪分布环境*

1.上传hadoop2.7.0编译后的包并解压到/hadoop2目录下  mkdir /hadoop2 解压 tar  -zxvf  hadoop.2.7.0.tar.gz -C /hadoop2 2.解压后hadoop2的目录结构 bin Hadoop最基本的管理脚本和使用脚本,这些脚本是sbin目录下管理脚本的基础实现,用户可以用这些脚本管理和使用hadoop etc hadoop配置文件所在的目录,包括core-site.xml.hdfs-site.xml.mapred-site.xml等

hadoop1.1.0的伪分布搭建步骤

-------------------------------------------------- 一.单节点的安装 1.伪分布式的安装 1.1 改动ip (1)打开VMWare或者VirtualBox的虚拟网卡 (2)在VMWare或者VirtualBox设置网络连接方式为host-only (3)在linux中,改动ip.有上角的图标,右键,选择Edit  Connections.... ****ip必须与windows下虚拟网卡的ip在同一个网段,网关必须是存在的. (4)重新启动网卡.

Hadoop的伪分布式搭建

我们在搭建伪分布式Hadoop环境,需要将一系列的配置文件配置好. 一.配置文件 1. 配置文件hadoop-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_67 2. 配置core-site.xml dfs.defaultFS hdfs://hostname:8020 hadoop.tmp.dir /opt/modules/hadoop-2.5.0/data/tmp 配置hdfs-site.xml dfs.replication 3 配置yarn-s