hadoop2.0单机模式部署

ssh免密码登陆配置

ssh localhost

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

修改/etc/hosts文件(vi或gedit都可以,需要sudo)

添加YARN001这一行

解压jdk和Hadoop文件(目录为/home/llh/hadoop/)

添加可执行权限

tar -zxvf jdk-7u75-linux-i586.tar.gz

tar -zxvf hadoop-2.6.0.tar.gz

修改hadoop-env.sh

export JAVA_HOME=/home/llh/hadoop/jdk1.7.0_75/

修改mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

修改core-site.xml 

<property>
  <name>fs.default.name</name>
  <value>hdfs://YARN001:8020</value>
</property>

修改hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/llh/hadoop/dfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/llh/hadoop/dfs/data</value>
</property>

修改yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

格式化hdfs

bin/hadoop namenode -format

启动hdfs

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

web界面 http://yarn001:50070

hdfs上传文件

bin/hadoop fs -mkdir /home/llh

bin/hadoop fs -put README.txt /home/llh

启动yarn

sbin/start-yarn.sh

web界面:http://yarn001:8088

时间: 2024-08-03 17:46:54

hadoop2.0单机模式部署的相关文章

Hadoop2.6.0单机模式搭建

1.下载安装jdk 下载jdk1.6.0_39_x64.bin ./jdk1.6.0_39_x64.bin 执行文件 2.配置环境变量 vim /etc/profile 追加: export JAVA_HOME=/root/hadoop/jdk1.6.0_39export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$PATH:$JAVA_HOME/bin 让环境变量生效 source /etc/prof

Hadoop单机模式部署

一.Hadoop部署模式 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行 完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境 二.添加用户和组 $ sudo adduser hadoop                         ##创建用户hadoop $ sudo usermod -G sudo hadoop                 

hbase0.96.0单机模式安装(win7 无需cygwin)

之前折腾了几天,想让hbase的单机模式在cygwin上跑起来,都不成功.正当我气馁之时,我无意中发现hbase0.96.0的bin和conf目录下有一些扩展名为cmd的文件.这难道是给windows用的?难道现在hbase可以直接在windows上运行了?抱着这样的想法,我尝试了不用cygwin的方法运行hbase,还真成功了.特此记录下来,给需要的人做一个参考. 1. 环境: Win7 64bit JDK1.6.0_43 64bit hbase-0.96.0-hadoop1 没错,不需要cy

CentOS下Hive2.0.0单机模式安装详解

本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 1. 所需要的环境 Hive 2.0需要以下运行环境: Java 1.7以上(强烈建议使用Java 1.8) Hadoop 2.X 2. 下载.解压Hive安装包 Hive官网地址: http://hive.apache.org/ 例如: wget "http://mirrors.cnnic.cn/apache/hive/hive-2.0.0/apac

Spark2.1.0单机模式无法启动master的问题

运行start-master.sh后,日志报错如下: starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/spark-2.1.0-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-hadoop1.out [[email protected] sbin]# cat /home/hadoop/spark-2.1.0-

kafka单机模式部署安装,zookeeper启动

在root的用户下 1):前提 安装JDK环境,设置JAVA环境变量 2):下载kafka,命令:wget  http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz 3):下载zookeeper,命令:wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 4):然后去解压zookeeper

HBase单机模式部署

1.上传&解压 2.设置环境变量 3.启用&检验 4.编辑hbase-env.sh 5.编辑hbase-site.xml 6.启动hbase 7.验证 8.启动hbase shell 原文地址:https://www.cnblogs.com/yszd/p/10732535.html

[Hadoop] 在Ubuntu系统上一步步搭建Hadoop(单机模式)

1 创建Hadoop用户组和Hadoop用户 Step1:创建Hadoop用户组: ~$ sudo addgroup hadoop Step2:创建Hadoop用户: ~$ sudo adduser -ingroup hadoop hadoop 回车后会提示输入密码,这是新建Hadoop的密码,输入两次密码敲回车即可.如下图所示: Step3:为Hadoop用户添加权限: ~$ sudo gedit /etc/sudoers 点击回车后,打开sudoers文件,在 root ALL=(ALL:A

Cloudera Hadoop 5&amp; Hadoop高阶管理及调优课程(CDH5,Hadoop2.0,HA,安全,管理,调优)

1.课程环境 本课程涉及的技术产品及相关版本: 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0.98.6 Impala 2.1.0 Oozie 4.0.0 Hue 3.7.0 2.内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1.Hadoop2.0高阶运维,包括H