Hadoop 平台搭建

一、在Linux中安装JDK并配置环境变量

输入javac 查看是否已安装java环境
如果没有安装 sudo apt-get install openjdk-7-jdk
再次检测 javac
修改配置参数 vim /etc/profile 
发现没有安装vim编辑器 apt-get install vim
安装完成后 vim /etc/profile 配置环境变量,参照安装过程中路径,具体如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

source /etc/profile

二、下载Hadoop并配置环境变量

网址:http://mirror.bit.edu.cn/apache/hadoop/common/

下载:wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

ls 查看已下载 hadoop-1.2.1-bin.tar.gz

移动到/opt/文件夹:mv hadoop-1.2.1-bin.tar.gz /opt/ 
进入到/opt/文件夹:cd /opt/ 
ls 查看/opt/目录下:hadoop-1.2.1-bin.tar.gz
解压:tar -zxvf hadoop-1.2.1-bin.tar.gz
ls 出现解压后的 hadoop-1.2.1

三、修改hadoop-1.2.1/conf/下四个配置文件
[email protected]:/opt# cd hadoop-1.2.1
[email protected]:/opt/hadoop-1.2.1# ls

[email protected]:/opt/hadoop-1.2.1# cd conf
[email protected]:/opt/hadoop-1.2.1/conf# ls

[email protected]:/opt/hadoop-1.2.1/conf# vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

[email protected]:/opt/hadoop-1.2.1/conf# vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
</configuration>

[email protected]:/opt/hadoop-1.2.1/conf# vim core-site.xml
<configuration>
<property>
<name>hedoop.tmp.dir</name> 临时工作目录
<value>/hadoop</value>
</property>

<property>
<name>dfs.name.dir</name> 元数据目录
<value>/hadoop/name</value>

</property>

<property>
<name>fs.default.name</name> 
<value>hdfs://imooc:9000</value>
</property>
</configuration>

[email protected]:/opt/hadoop-1.2.1/conf# vim hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name> 文件块的存放目录
<value>/hadoop/data</value>
</property>
</configuration>

[email protected]:/opt/hadoop-1.2.1/conf# vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

[email protected]:/opt/hadoop-1.2.1/conf# source /etc/profile

四、检测是否安装成功

[email protected]:/opt/hadoop-1.2.1/conf# hadoop
[email protected]:/opt/hadoop-1.2.1/conf# cd ..
[email protected]:/opt/hadoop-1.2.1# cd bin/
[email protected]:/opt/hadoop-1.2.1/bin# ls
[email protected]:/opt/hadoop-1.2.1/bin# hadoop namenode -format 格式化
[email protected]:/opt/hadoop-1.2.1/bin# start-all.sh
[email protected]:/opt/hadoop-1.2.1/bin# jps 查看Hadoop是否正常运行

时间: 2024-08-01 14:05:25

Hadoop 平台搭建的相关文章

Hadoop平台搭建(1)

摘要:本文主要讲述在Linux环境下搭建hadoop平台的准备工作,内容涵盖Linux中用户的添加与权限管理.更改软件源.更新软件安装工具apt.安装vim编辑器.安装SSH并配置无密码登录. 环境说明:文章中采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似,Linux其他系列操作系统适当做相应调整. 1.添加用户 对Linux环境下的开发,为了安全起见,一般情况下不直接在root用户下进行.所以,我们首先添加一个新的用户名,并设置新用户密码. 命令:sudo user

hadoop平台搭建(2.6.0)

最近闲来无事搭建了一个hadoop环境,将搭建步骤记录一下. 一.环境准备 环境:VMware,xshell OS: Ubuntu server(选择最简安装,只安装OpenSSH-Server) 版本:hadoop-2.6.0 三个节点: 192.168.16.131 master 192.168.16.132 node1 192.168.16.133 node2 编辑/etc/hosts文件 将节点信息添加进去(如上) 建立hadoop运行账号: groupadd hadoop //设置ha

Hadoop集群大数据平台搭建

Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式:单机模式.伪分布模式.完全分布模式,只要掌握了完全分布模式,也就是集群模式的搭建,剩下的两种模式自然而然就会用了,一般前两种模式一般用在开发或测试环境下,Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式. 硬件选择 须知: 分布式环境中一个服务器就是一个节点 节点越多带来的是集群性能的提升 一个Hadoop集群环境中,NameNode,SecondaryNameNode和DataNo

Hadoop完全云计算平台搭建

一.以之前搭建的为云计算平台为主节点 角色分配 Master:NameNode/DataNode ResourceManager/NodeManager Slave1:DataNode NodeManager Slave2:DataNode NodeManager 1. 修改hostname 2. 修改hosts,添加每个节点的ip地址以及对应的hostname 3. ping测试 二. ssh免密码登录 [[email protected] .ssh]# ssh-keygen -t rsa #

c#WEB转入大数据HADOOP平台的2014总结

浮浮沉沉的那是流水,起起落落的才是人生嘛. 抽根烟先--(各位同学都知道我不抽烟哈,这个,哈哈,思考人生的时候还是会抽根)刚刚和同学吃完饭从滨江路回来,我和他在一起一般都是谈谈自己的近况.我和他住得不远,上班离得很近,但是也不经常见面,但是需要对方的时候打个电话,总会在一个电话后及时出现在你的面前(搞得像基友一样,罪过,罪过).这个是必须的,我和他也算一种前世修来的缘份吧,认识马上快10年了,大学同学中,我是他在这里的唯一,他也是我在这里的唯一,也许这辈子剩下的时间还得走下去,生活中的坎坷我们互

原生态hadoop2.6平台搭建

 hadoop2.6平台搭建 一.条件准备 软件条件: Ubuntu14.04 64位操作系统,jdk1.7 64位,Hadoop 2.6.0 硬件条件: 1台主节点机器,配置:cpu 8个,内存32G,硬盘200G 5台从节点机器,配置均为:cpu 4个,内存16G,硬盘200G 各个节点IP如下: 服务器名字 Ip地址 备注(为方便操作将hostname改为如下) Hd-Name Node 192.168.0.10 master Hd-Data Node 1 192.168.0.16 sla

zookeeper环境及dubbo-admin管理平台搭建

一. Zookeeper的安装使用 1.1 Zookeeper介绍 Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.名字服务.分布式同步.组服务等. 本工程采用Zookeeper作为注册中心,Zookeeper一个分布式的服务框架,是树型的目录服务的数据存储,能做到集群管理数据 ,这里能很好的作为Dubbo服务的注册中心,Dub

Storm on Yarn :原理分析+平台搭建

Storm on YARN: Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁.它将Storm事件处理平台与YARN(Yet Another Resource Negotiator)应用管理框架进行了组合,为此前进行批处理的Hadoop应用提供了低延迟的处理能力. 诞生背景(yahoo): 雅虎公司平台副总裁Bruno Fernandez-Ruiz表示,他们发现Hadoop在处理海量数据时的速度还不够快.Hadoop和MapReduce的速度无法满足用户事件,比如电子邮件

Hadoop环境搭建及实现倒排索引

目 录 1.应用介绍 3 1.1实验环境介绍 3 1.2应用背景介绍 3 1.3应用的意义与价值 4 2.数据及存储 5 2.1数据来源及数据量 5 2.2数据存储解决方案 5 3.分析处理架构 5 3.1架构设计和处理方法 5 3.2核心处理算法代码 7 4.系统实现 9 5.总结 27 1.应用介绍 1.1实验环境介绍 本实验是在hadoop伪分布式处理架构下完成的.我用自己的笔记本在ubuntu14.04操作系统下自己搭建了hadoop2.7.1架构,并配置了伪分布式模式进行数据的处理.