centos6安装hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

namenode  192.168.31.243

datenode  192.168.31.165

实验环境

centos6_x64

实验软件

jdk-6u31-linux-i586.bin

hadoop-1.0.0.tar.gz

软件安装

yum install -y rsync* openssh*

yum install -y ld-linux.so.2

groupadd hadoop

useradd hadoop -g hadoop

mkdir /usr/local/hadoop

mkdir -p /usr/local/java

service iptables stop

ssh-keygen -t rsa            192.168.31.243配置 （192.168.31.165配置相同）

Enter file in which to save the key (/root/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

scp -r /root/.ssh/id_rsa.pub 192.168.31.165:/root/.ssh/authorized_keys

scp -r /root/.ssh/id_rsa.pub 192.168.31.243:/root/.ssh/authorized_keys

scp -r jdk-6u31-linux-i586.bin hadoop-1.0.0.tar.gz 192.168.31.165:/root/

mv jdk-6u31-linux-i586.bin /usr/local/java/

cd /usr/local/java/

chmod +x jdk-6u31-linux-i586.bin

./jdk-6u31-linux-i586.bin

vim /etc/profile     最后一行追加配置

# set java environment

export JAVA_HOME=/usr/local/java/jdk1.6.0_31

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

# set hadoop path

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

java -version

java version "1.6.0_31"

Java(TM) SE Runtime Environment (build 1.6.0_31-b04)

Java HotSpot(TM) Client VM (build 20.6-b01, mixed mode, sharing)

tar zxvf hadoop-1.0.0.tar.gz

mv hadoop-1.0.0 /usr/local/hadoop

chown -R hadoop:hadoop /usr/local/hadoop

ll /usr/local/hadoop/

drwxr-xr-x 14 hadoop hadoop 4096 Dec 16  2011 hadoop-1.0.0

cp /usr/local/hadoop/conf/hadoop-env.sh  /usr/local/hadoop/conf/hadoop-env.sh.bak

vim /usr/local/hadoop/conf/hadoop-env.sh

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

export JAVA_HOME=/usr/local/java/jdk1.6.0_31  修改为

cd  /usr/local/hadoop/conf

cp core-site.xml hdfs-site.xml mapred-site.xml core-site.xml 这几个文件都备份一下

vim core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>                  红色为需要修改的地方

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<!-- file system properties -->

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.31.243:9000</value>

</property>

</configuration>

vim hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

vim mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name> mapred.job.tracker</name>

<value>http://192.168.21.243:9001</value>

</property>

</configuration>

cp masters masters.bak

vim masters

localhost

192.168.31.243

cp slave slave.bak             192.168.31.165配置

vim /usr/local/hadoop/conf/slaves

localhost

192.168.31.165

scp -r  core-site.xml hdfs-site.xml mapred-site.xml 192.168.31.165:/usr/local/hadoop/conf/

/usr/local/hadoop/bin/hadoop namenode -format

Warning: $HADOOP_HOME is deprecated.

16/09/21 22:51:13 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = java.net.UnknownHostException: centos6: centos6

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 1.0.0

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1214675; compiled by ‘hortonfo‘ on Thu Dec 15 16:36:35 UTC 2011

************************************************************/

16/09/21 22:51:14 INFO util.GSet: VM type       = 32-bit

16/09/21 22:51:14 INFO util.GSet: 2% max memory = 19.33375 MB

16/09/21 22:51:14 INFO util.GSet: capacity      = 2^22 = 4194304 entries

16/09/21 22:51:14 INFO util.GSet: recommended=4194304, actual=4194304

16/09/21 22:51:14 INFO namenode.FSNamesystem: fsOwner=root

16/09/21 22:51:14 INFO namenode.FSNamesystem: supergroup=supergroup

16/09/21 22:51:14 INFO namenode.FSNamesystem: isPermissionEnabled=true

16/09/21 22:51:14 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

16/09/21 22:51:14 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

16/09/21 22:51:14 INFO namenode.NameNode: Caching file names occuring more than 10 times

16/09/21 22:51:14 INFO common.Storage: Image file of size 110 saved in 0 seconds.

16/09/21 22:51:14 INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.

16/09/21 22:51:14 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: centos6: centos6

************************************************************/

/usr/local/hadoop/bin/start-all.sh

Warning: $HADOOP_HOME is deprecated.

starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-namenode-centos6.out

The authenticity of host ‘localhost (::1)‘ can‘t be established.

RSA key fingerprint is 81:d9:c6:54:a9:99:27:c0:f7:5f:c3:15:d5:84:a0:99.

Are you sure you want to continue connecting (yes/no)? yes

localhost: Warning: Permanently added ‘localhost‘ (RSA) to the list of known hosts.

[email protected]‘s password:

localhost: starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-datanode-centos6.out

The authenticity of host ‘192.168.31.243 (192.168.31.243)‘ can‘t be established.

RSA key fingerprint is 81:d9:c6:54:a9:99:27:c0:f7:5f:c3:15:d5:84:a0:99.

Are you sure you want to continue connecting (yes/no)? yes

192.168.31.243: Warning: Permanently added ‘192.168.31.243‘ (RSA) to the list of known hosts.

[email protected]‘s password:

192.168.31.243: starting secondarynamenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-secondarynamenode-centos6.out

starting jobtracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-jobtracker-centos6.out

[email protected]‘s password:

localhost: starting tasktracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-tasktracker-centos6.out

ll /usr/local/hadoop/tmp/

drwxr-xr-x 5 root root 4096 Sep 21 22:53 dfs

drwxr-xr-x 3 root root 4096 Sep 21 22:53 mapred  看到这两项证明没有错误

jps

3237 SecondaryNameNode

3011 NameNode

3467 Jps

netstat -tuplna | grep 500

tcp        0      0 :::50070                    :::*                        LISTEN      3011/java

tcp        0      0 :::50090                    :::*                        LISTEN      3237/java

http://192.168.31.243:50070/dfshealth.jsp

时间： 2024-12-28 23:22:21

centos6安装hadoop的相关文章

安装Hadoop，让word count飞起来

工欲善其事,必先利其器." 首先,还是和小讲一起搭建一个Hadoop环境吧. Hadoop发行版本选择 从Hadoop官方网站可以看到,Hadoop最新版已经到2.7了.不过,据小讲所知,目前企业生产环境中2.2这个版本用得比较多,不少企业还停留在1.X等更低的版本,市面上很多教材采用的还是0.2X,1.X都极少, 对于初学者来说,小讲建议采用2.2版本,一方面接口已经是新的接口,使用起来没什么大的区别,另一方面也相对稳定,更重要的是,不会开发时找不到各种工具或插件导致学习无法进行,本产品<

如何在Centos下安装hadoop并与Eclipse连接？

如何在Centos下安装hadoop并与Eclipse连接? 许久之前就计划学习hadoop了,直到最近才提上日程.花费了一些时间才把centos下的hadoop搭起来,前后经历的"挫折"绝对可以写成数千字的血泪史了.既有被网上教程坑了的苦逼遭遇,也有教研室大超师兄和实习公司的泡哥的爱心支援.今天终于可以坐下来说说如何在Centos下安装hadoop并与Eclipse连接这个问题. 先说一下要准备哪些软件和信息: VMware-workstation: CentOS-6.0-i386-

VMware 虚拟机安装 hadoop 2.6.0 完全分布式集群

最近连着搭了两次hadoop的集群,搭建的时候也碰到了一些问题,因为之前对linux 不熟悉,经常遇到各种问题和命令忘记写,幸亏有度娘谷哥,这里做一个记录 下次使用的时候用的上 计算机的配置 计算机: G3440 3.3G 双核 8G内存 虚拟机: vmware workstation 12 pro 系统: centos6.5 节点: 192.168.133.33 master.hadoop 192.168.1.151 slave1.hadoop 192.168.1.151 slave2.had

CentOS7 通过Ambari安装Hadoop集群

第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术:给我的学习内容是通过Ambari安装Hadoop集群.通过一周左右的学习和实践,整理出现在这篇安装心得. 安装默认使用Root用户,避免权限问题导致不成功. 使用4台虚拟机构建Ambari-Server.Hadoop集群,分配如下: -       一台虚拟机,作为Ambari-Server: Hostname: ambari.ser

指导手册01：安装Hadoop

指导手册01:安装Hadoop  Part 1:安装及配置虚拟机 1.安装Linux. (1)打开VMvirtualBox (2) 控制->新建虚拟机,输入虚拟机名称"marst+学号" 类型:Linux,版本:other Linux(64-bit) CentOS-6.8-x86_64-bin-DVD1 (3)内存建议1024M, 创建虚拟盘VHD虚拟硬盘,动态分配,硬盘20G. (4) 右击己创建的虚拟机master, 设置:网络,网卡1:桥接网卡.存储:光盘,选择CentOS

Linux -&gt;&gt; UBuntu 14.04 LTE下安装Hadoop 1.2.1（集群分布式模式）

安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用户,就像windows下的服务账户,并且授权给他可以访问运行JDK目录权限,让他可以执行java虚拟机.这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务,那运行账户肯定是他了,他肯定要有足够的权限.再者,需要配置这个账户的个人环境变量,把Java虚拟机的主目录地址环境

一篇文章教你轻松安装hadoop（第2篇）

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装.     第三章 安装hadoop环境 由于大家在学习hadoop时候,主要以Hadoop 1.0环境为主学习就可以,所以这主要介绍如何搭建Hadoop 1.0分布式环境. 整个分布式环境运行在带有linux操作系统的虚拟机上,至于虚拟机和linux系统的安装这里暂不做过多介绍. 安装Hadoop分布式环境: 1) 下载H

oracle 11g centos6 安装

选型:32位的内存是个瓶颈,已经是64位的时代了.使用64位的CentOS6 和 64位的Oracle 11g R2在虚拟机器安装,采用hostonly方式设置网络注意:能上网的网卡要设置一下ICS(Internet连接共享)给VMware Network Adapter VMnet1这样对于虚拟机,网关是192.168.137.1,IP地址请也要设置在192.168.137.0/24段硬盘40G,内存2G 1.下载软件1.1.CentOS 6(x86_64)http://mirrors.163

Ubuntu安装Hadoop与Spark

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"