hadoop2.6.4【ubuntu】单机环境搭建 系列1

jdk安装

tar zxvf jdk

mv jdk /usr/lib/jvm/java

jdk环境变量配置

vim /etc/profile

```
export JAVA_HOME=/usr/lib/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin

export HADOOP_HOME=/usr/lib/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```

安装hadoop2.6.4

tar zxvf hadoop

mv /usr/lib

hadoop环境变量配置

export HADOOP_HOME=/usr/lib/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop单机配置

cd /usr/lib/hadoop/etc/hadoop

ls

vim core-site.xml

```
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.128.129:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/lib/hadoop/tmp</value>
    </property>
</configuration>
```

vim hdfs-site.xml

```
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

<property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>8192</value>
    <description>
        Specifies the maximum number of threads to use for transferring data
        in and out of the DN.
    </description>
</property>

<property>
<name>dfs.data.dir</name>
<value>/usr/lib/hadoop/hdfs/data</value>
</property>

</configuration>
```

vim mapred-site.xml

```
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
```

vim yarn-site.xml

```
<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
```

vim  hadoop-env.sh

```
# The java implementation to use.
export JAVA_HOME=/usr/lib/java/jre

export HADOOP_PREFIX=/opt/hadoop
```

vim yarn-env.sh

```
export JAVA_HOME=/usr/lib/java/jre
```

以上配置完成后启动hadoop

```
cd /opt/hadoop/sbin

# 启动hdfs
./start-dfs.sh

#启动yarn
./start-yarn.sh

```

hadoop免密码启动

```
 方法一:?

    在命令终端下输入如下命令:?(注:与当前目录无关)

    ssh-keygen -t rsa?  按照下面括号内的注明部分操作

    (Enter file in which to save the key (/home/youruser/.ssh/id_rsa):(注:这里按Enter接受默认文件名)

    Enter passphrase (empty for no passphrase):(注:这里按Enter不设置rsa私有秘钥加密)

    Enter same passphrase again:(注:这里按Enter不设置rsa私有秘钥加密)   

    Your identification has been saved in /home/youruser/.ssh/id_rsa.

    Your public key has been saved in /home/youruser/.ssh/id_rsa.pub.)?

    cd ~/.ssh/?

    cat id rsa.pub >> authorized_keys

    chmod 600 authorized_keys (注:网上介绍的方法一般没有这一行,但是在本人的   机器上如果不加这一行则不成功)??
```
时间: 2024-10-07 23:29:00

hadoop2.6.4【ubuntu】单机环境搭建 系列1的相关文章

Hadoop-2.6.0分布式单机环境搭建HDFS讲解Mapreduce示例

Hadoop安装使用 1.1 Hadoop简介 1.2 HDFS分布式存储系统 1.3 单机安装 1.4 Mapreduce 案例 1.5 伪分布式安装 1.6 课后作业 1.1 Hadoop简介 在文章的时候已经讲解了Hadoop的简介以及生态圈,有什么不懂的可以"出门右转" http://dwz.cn/4rdSdU 1.2 HDFS分布式存储系统(Hadoop Distributed File System) HDFS优点 高容错性 数据自动保存多个副本 副本都时候会自动恢复 适合

kafka单机环境搭建

1,准备工作:  windows下虚拟机上安装centos7,下载putty工具. 2,windows下下载相关的安装包 jdk-8u71-linux-x64.rpm kafka_2.11-0.9.0.0.tgz zookeeper-3.4.6.tar.gz 3,通过putty的pscp工具将上述3个文件上传到centos的/home/xf/backup目录(自己指定目录) 4,启动一个putty窗口连接centos,rpm方式安装jdk-8u71-linux-x64.rpm 5,解压kafka

Ubuntu Touch环境搭建

最近搞了一下Nexus 5的MultiRom Manger,体验了一把Ubuntu Touch和Android L,总体感觉还不错,不过Android L的NFC驱动还有问题,Ubuntu Touch优化还不足,画面有点卡,而且无法关背光.于是萌生了参与Ubuntu Touch驱动开发的念头,也算是把工作当成一种兴趣吧. Ubuntu Touch for Nexus 5是非官方的,官方的只有Nexus 4,7,10.我们从MultiRom Manager可以直接下载到for Nexus 5的最新

Ubuntu Android环境搭建

一.安装Java sudo apt-get install openjdk-7-jdk 如果你想安装oracle公司的java 7,试着按照下面的步骤来. 首先,在你终端上按如下所示运行命令删除OpenJDK: sudo apt-get purge openjdk* 现在添加如下的源,就可以安装Java 7了: sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-

[转载] Hadoop和Hive单机环境搭建

转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329 下载hadoophadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/这里下载的版本是1.0.3$ mkdir hadoop$ wget http://www.fayea.com/apache-mirror/hadoop

kafka单机环境搭建及其基本使用

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到"kafka_2.11-1.1.0"文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.

spark单机环境搭建以及快速入门

1 单机环境搭建 系统环境 cat /etc/centos-release CentOS Linux release 7.3.1611 (Core) 配置jdk8 wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.

Hadoop-2.4.1完全分布式环境搭建

一.配置步骤如下: 主机环境搭建,这里是使用了5台虚拟机,在ubuntu 13系统上进行搭建hadoop环境. 创建hadoop用户组以及hadoop用户,并给hadoop用户分配权限. 免密码登陆,为5台主机进行免密码登陆配置. 安装hadoop以及jdk,并配置环境变量. Hadoop分布式环境参数配置. 二.主机环境搭建: 在虚拟机上安装5台虚拟主机并分别安装好hadoop系统,然后分别完成以下操作. 设定静态ip地址,这里的虚拟机使用的是NAT上网模式,配置命令如下: a)     配置

环境搭建系列笔记-目录

计划出个系列笔记,写一下如何搭建MySQL集群.RabbitMQ集群.Redis集群.Zookeeper集群.nginx.tomcat啥的. 先定个小目标,列个目录,然后搞出来这个系列. 大家有什么建议,比如想先看哪个?想让我写得多详细?想让我提供什么资源? 系列一:系统安装之centos 6.5安装与配置 系列二:准备工作之Java环境安装 系列三:数据为先之MySQL读写集群搭建 系列四:谈分布式之RabbitMQ集群搭建 系列五:谈分布式之Zookeeper集群搭建 系列六:分布缓存之Re