我用过的linux命令--安装Hadoop



1. hadoop软件传送给虚拟机

还是利用WinSCP把hadoop软件安装包,放到linux的Downloads文件夹中。

2. 选择安装目录

把hadoop安装包copy到这个安装目录中,这里我们选择CentOS中的/usr/local目录中。

3. 解压缩安装包

看到hadoop安装包的后缀是.tar.gz。所以直接用tar命令解压缩

#tar -zxvf xxx    //解压.tar.gz的文件

解压完之后会产生一个文件夹,名字为hadoop-1.1.2,这个名字太长了,不好用,重命名一下

#mv hadoop-1.1.2 hadoop

4. hadoop设置环境变量

解压完了之后,hadoop这个目录中肯定有一个目录结构,先不管是什么,肯定有一个bin目录,里面放置了各种的可以执行的命令。所以要把这个bin目录添加到环境变量中去。

#vi /etc/profile

在配置文件中加入:

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

使配置文件生效:

#source /etc/profile

5. 修改配置文件

为了适合hadoop的伪分布的安装,这里要修改一些配置文件。hadoop的配置文件的目录是$HADOOP_HOME/conf目录下。要修改的文件是:

hadoop-enc.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

为了方便修改,这里我们不用vi修改文件,而是利用WinSCP直接在Windows下修改。

在WinSCP中找到这个文件,然后编辑这个文件就好了。

(1)hadoop-env.sh文件修改内容:

export JAVA_HOME=/usr/local/jdk

(2)core-site.xml文件修改内容:

<configuration>

    <property>

    <name>fs.default.name</name>

    <value>hdfs://hadoop:9000</value>

    <description>change your own hostname</description>

    </property>

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/local/hadoop/tmp</value>

    </property>

</configuration>

注意:上面个的<value>中的值hadoop是本机的主机名,要根据自己的设置做相应的修改。

(3)hdfs-site.xml文件修改内容:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

(4)mapred-site.xml文件修改内容:

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>

注意:上面个的<value>中的值hadoop是本机的主机名,要根据自己的设置做相应的修改。

6. 对Hadoop进行格式化

对HDFS文件系统重新整理

#hadoop namenode -format    //格式化hadoop的HDFS文件系统

7. 启动Hadoop

启动命令脚本在$HADOOP_HOME/bin目录中,所以可以直接运行

#start-all.sh

前面说过hadoop运行的都是一些java的进程,所以启动完hadoop能看到相应的java进程,查看方式:

#jps    //查看当前运行的java进程

这个命令不是操作系统的,是位于jdk中的,专门用来查看java进程的

8. 通过浏览器查看hadoop

在Linux的浏览器中输入hadoop:50070可以看到namenode,说明NameNode进程是活着的,同时还说明NameNode本身是一个web server。

在Linux的浏览器中输入hadoop:50030可以看到JobTracker,说明JobTracker进程是活着的,同时还说明JobTracker本身是一个web server。

同样在Windows宿主机器中通过ip地址:50070、ip地址:50030也能看到相同的内容。如果想通过主机名hadoop访问,要把IP地址和hadoop的主机名绑定:

在Windows的C:\Windows\System32\drivers\etc\hosts这个文件中添加:

192.168.80.100 hadoop

然后就能在Windows下通过主机名:端口号的方式访问hadoop了。

注意:这个能访问,首先要能互相ping通。

9. 问题纠错

<1>NameNode进程没有启动成功?

(1)没有格式化

(2)配置文件只copy,没有修改主机名

(3)hostname与ip地址没有绑定

(4)ssh免密码登陆没有配置成功

<2>多次格式化hadoop也是错误的?

解决方法:删除/usr/local/hadoop/tmp文件夹,重新格式化就能解决。

时间: 2024-11-05 23:25:41

我用过的linux命令--安装Hadoop的相关文章

Linux 命令安装bin文件

Linux 命令安装bin文件 安装命令: //1,增加文件的可执行权限 chmod a+x jdk-6u30-linux-x64.bin //2,程序即安装在执行命令的文件夹下 ./jdk-6u30-linux-x64.bin 原文地址:https://www.cnblogs.com/lizm166/p/9717583.html

在Linux上安装Hadoop

先决条件: Hadoop是用JAVA写的,所以首先要安装Java.在Ubuntu上安装JDK见:http://blog.csdn.net/microfhu/article/details/7667393 我下载的Hadoop版本号是2.4.1.要求至少安装JDK 6以上. Linux是唯一支持的生产环境.Unix.Windows或者Mac OS能够作为开发环境.在Windows上安装Hadoop须要Cygwin.而且在Cygwin里要包括openssh. 到hadoop.apache.org上下

Linux下安装Hadoop(2.7.1)详解及WordCount运行

一.引言 在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于解决了问题,感觉还是很好的,下面废话不多说,开始进入正题. 本机器的配置环境如下: Hadoop(2.7.1) Ubuntu Linux(64位系统) 下面分为几个步骤来详解配置过程. 二.安装ssh服务 进入shell命令,输入如下命令,查看是否已经安装好ssh服务,若没有,则使用如下命令进行安装: sudo

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建authorized_keys文件 2.6将authorized_keys文件复制到其他机器 2.7 测试使用ssh进行无密码登录 2.7.1在hserver1上进行测试 2.7.2在hserver2上进行测试 2.7.3在hserver3上进行测试 3安装jdk和hadoop 3.1安装JDK 3

Linux下安装Hadoop

第一步: Hadoop需要JAVA的支持,所以需要先安装JAVA 查看是否已安装JAVA 查看命令: java -version JRE(Java Runtime Environment),它是你运行一个基于Java语言应用程序的所正常需要的环境. 安装命令: apt-get install default-jre 查看是否安装成功 java -version 如果显示如下类似的文字,表示安装成功 java version "1.7.0_131" 第二步: 下载Hadoop,地址:ht

Linux命令安装vnc服务端与vnc的客户端

第一歩:运行命令 yum install tigervnc-server -y 第二歩:安装telnet 第三歩:运行vncserver,创建桌面 vncserver -kill :1  删除桌面1的序号 服务器测试端口 5901 在windows下测试 客户端测试连接服务器的5901端口时,提示telnet命令不存在 防火墙命令操作:firewall-cmd --zone=public --add-port=80/tcp --permanent 重启防火墙:systemctl restart

我用过的linux命令--安装JDK

首先,我的测试环境是CentOS的linux虚拟机,如果想安装JDK,首先要有一个JDK.利用的软件就是WinSCP,把JDK从windows中传送到Linux中去. 1. JDK从Windows到Linux的传送 利用WinSCP把JDK从Windows传送到linux的root用户的Download文件下下. 在WinSCP中还能看到传送的文件的权限,这样更方便操作. 2. 选在JDK的安装目录 这里选择安装在linux的/usr/local文件夹中,首先删除里面没用的全部文件 #rm -r

linux 命令安装redis

第一步: 下载redis安装包wget http://download.redis.io/releases/redis-4.0.6.tar.5第二步:解压压缩包tar -zxvf redis-4.0.6.tar.gz第三 步:yum安装gcc依赖yum install gcc解释以下:因为redis的底层是有c++实现的,所以需要安装 gcc的依赖:第四步:编译安装make MALLOC=libc在redis/src目录下cd src && make install第六步:测试安装是否成功

linux命令安装core

第一步:sudo rpm -Uvh https://packages.microsoft.com/config/rhel/7/packages-microsoft-prod.rpm 第二步:sudo yum update 遇到选择按y回车 第三步:sudo yum install dotnet-sdk-2.2 遇到选择按y回车 正常这样就装好了.装好后可以测试.运行以下命令 dotnet new console -o myCore cd myCore dotnet run 出现熟悉的hello