hadoop学习;hadoop伪分布搭建

先前已经做了准备工作安装jdk什么的,下面开始ssh免密码登陆,这里我们用的是PieTTY工具,当然你也可以直接在linux下直接操作

ssh(secure shell),执行命令 ssh-keygen -t rsa产生密钥,位于~/.ssh文件夹中

\

一路enter

复制为文件authorized_keys

登陆成功和退出

接下来传输jdk和hadoop文件,这里用的工具是WinScp(类似ftp上传工具),有的虚拟机可以设置直接从物理机拖拽,我这放到/root/Downloads下

然后复制到usr/local,执行命令一次是 rm -rf *删除文件夹下东东,cd /usr/local接着 cp /root/Downloads/* .

解压jdk首先得获取权限chmod u+x jdk-6u24-linux-i586.bin  然后解压./jdk-6u24-linux-i586.bin也可以用tar -xvf jdk-6u24-linux-i586.bin

接着配置文件进入vi /etc/profile,source /etc/profile 执行 

解压hadoop,tar -zxvf hadoop-1.1.2.tar.gz

修改配置文件hadoop/conf下的

hadoop-env.sh

# Set Hadoop-specific environment variables here.

# The only required environment variable is JAVA_HOME.  All others are

# optional.  When running a distributed configuration it is best to

# set JAVA_HOME in this file, so that it is correctly defined on

# remote nodes.

# The java implementation to use.  Required.

export JAVA_HOME=/usr/local/jdk

core-site.xml修改内容与本机实际情况相同

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://centos:9000</value>

<description>change your
own hostname</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

<description>change your own position</description>

</property>

</configuration>

hdfs-site.xml修改,这里是伪分布,所以复制的节点就设置为1

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false </value>

</property>

mapred-site.xml中修改

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>centos:9001</value>

<description>change  your own hostname</description>

</property>

</configuration>

对hadoop进行格式化 hadoop namenode -format

启动hadoop 执行start-all.sh

在启动的时候弹出的警告,现在我们来分析下,首先得找到问题源start-all.sh ,我们停止进程stop-all.sh去看下源代码

cd hadoop/bin进入后 more start-all.sh

if判断语句执行else,所以我们去查看hadoop-config.sh

看到warning的地方,为了破坏该条件,修改配置文件 vi /etc/profile,只要不为空就行

hadoop学习;hadoop伪分布搭建,布布扣,bubuko.com

时间: 2024-12-08 05:01:48

hadoop学习;hadoop伪分布搭建的相关文章

hadoop单节点伪分布搭建

hadoop版本:2.7.1 jdk:1.7 OS:ubuntu 14.04 1.开启ssh免密码登录 ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys 这里不多做赘述,没有开启的请 google.baidu(搭建java环境也同样) 2.修改core-site.xml(path:etc/hadoop/) <configuration> <property> <name>fs.defaultFS</

#hadoop#单机(伪分布)安装及测试

tips:这个部署完全在以root用户操作,系统为ubuntu14.04,使用了Oracle JDK7_u55替换原来的OpenJDK 安装过程: 安装Java: 从自己的宿主机ftp服务器下载包: cd /usr/lib/jvm wget ftp://192.168.42.110/jdk-7u55-linux-x64.tar.gz  tar xvf jdk-7u55-linux-x64.tar.gz mv jdk1.7.0_55/ java-7-sun 编辑bashrc: vi ~/.bash

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

HBase伪分布搭建

HBase的伪分布搭建 安装版本: hbase-0.94.7-security.tar.gz 下载路径: http://hbase.apache.org 1. 解压缩,重命名,设置环境变量 1 cp hbase-0.94.7-security.tar.gz /opt/ 2 3 tar -zxvf hbase-0.94.7-security.tar.gz 4 5 mv hbase-0.94.7-security.tar.gz hbase #设置环境变量 1 vi /etc/profile 2 ex

Hadoop.2.x_伪分布环境搭建

一. 基本环境搭建 1. 设置主机名.静态IP/DNS.主机映射.windows主机映射(方便ssh访问与IP修改)等 设置主机名: vi /etc/sysconfig/network # 重启系统生效(临时修改: hastname xxx;另起一个终端将会看到效果,需要注意的是: 若即将搭建Hadoop,这里起的hostname禁止使用"_") 设置静态IP/DNS: vi /etc/sysconfig/network-scripts/ifcfg-eth0(示例:修改BOOTPROT

hadoop 2.6伪分布安装

hadoop 2.6的“伪”分式安装与“全”分式安装相比,99%的操作是相同的,唯一的区别是不用配置slaves文件,下面是几个关键的配置: (安装JDK.创建用户.设置SSH免密码.设置环境变量这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下) 一.修改hadoop-env.sh.yarn-env.sh 主要是设置JAVA_HOME的路径 二.修改core-site.xml 1 <configuration

Hadoop学习------Hadoop安装方式之(三):分布式部署

这里为了方便直接将单机部署过的虚拟机直接克隆,当然也可以不这样做,一个个手工部署. 创建完整克隆-->下一步-->安装位置.等待一段时间即可. 我这边用了三台虚拟机,分别起名master,slave1.slave2 1.修改主机名.ip 1.1关闭防火墙 CentOS系统默认开启了防火墙,在开启 Hadoop 集群之前,需要关闭集群中每个节点的防火墙.有防火墙会导致 ping 得通但 telnet 端口不通,从而导致 DataNode 启动了,但 Live datanodes 为 0 的情况.

Hadoop学习------Hadoop安装方式之(一):单机部署

Hadoop 默认模式为单机(非分布式模式),无需进行其他配置即可运行.非分布式即单 Java 进程,方便进行调试. 1.创建用户 1.1创建hadoop用户组和用户 一般我们不会经常使用root用户运行hadoop,所以需要创建一个平常运行和管理hadoop的用户; 有2种方式,选择任意一种即可 方法1:先创建hadoop用户组 (不同Linux系统命令不同) sudo groupadd(或者addgroup) hadoop 再创建hadoop用户 sudo useradd(或者 adduse

hadoop之伪分布搭建环境

1. 修改主机名字  临时修改(session): sudo hostname orcll /etc/sysconfig/network -> HOSTNAME=hadoop0 #localhost.localdomain    shutdown -r now 2.将hostname与ip绑定 添加/etc/hosts文件 ping hadoop0 3.关闭防火墙 1 service iptables stop 2 chkconfig iptables off 3 -- service ipta