Ubuntu 18.04 安装Hadoop 2.10

安装步骤:

1、新建虚拟机(网络选桥接模式、内存尽量大)

2、安装Ubuntu 18.04

3、安装JDK JRE

4、创建hadoop用户

# 1、创建用户
sudo useradd -m hadoop -s /bin/bash
# 2、设置密码(按提示输入两次密码)
sudo passwd hadoop
# 3、设置权限
sudo adduser hadoop sudo
# 4、用hadoop登录后更新一下 apt
sudo apt-get update

5、配置SSH无密码登录

ssh localhost

此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。

但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了

6、安装Hadoop 2.10

我们选择将 Hadoop 安装至 /usr/local/ 中

$ sudo tar -zxf /usr/local/hadoop-2.10.0.tar.gz -C /usr/local    # 解压到/usr/local中
$ cd /usr/local/
$ sudo mv ./hadoop-2.10.0/ ./hadoop            # 将文件夹名改为hadoop
$ sudo chown -R hadoop ./hadoop       # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

cd /usr/local/hadoop
./bin/hadoop version

7、Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xmlhdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml),将当中的

<configuration>
</configuration>

修改为下面配置:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同样的,修改配置文件 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后,执行 NameNode 的格式化:

./bin/hdfs namenode -format

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。

如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误,则说明之前设置 JAVA_HOME 环境变量那边就没设置好,请按教程先设置好 JAVA_HOME 变量,否则后面的过程都是进行不下去的。如果已经按照前面教程在.bashrc文件中设置了JAVA_HOME,还是出现 Error: JAVA_HOME is not set and could not be found. 的错误,那么,请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”,在里面找到“export JAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如,“export JAVA_HOME=/usr/lib/jvm/default-java”,然后,再次启动Hadoop。

接着开启 NameNode 和 DataNode 守护进程。

./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件,中间没有空格

若出现如下SSH提示,输入yes即可。

启动时可能会出现如下 WARN 提示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略,并不会影响正常使用。

启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。

成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。

原文地址:https://www.cnblogs.com/Chaser-Eagle/p/12003868.html

时间: 2024-11-05 01:01:45

Ubuntu 18.04 安装Hadoop 2.10的相关文章

Ubuntu 18.04安装MongoDB 4.0(社区版)

Ubuntu 18.04(虚拟机VirtualBox上),MongoDB 4.0, 听室友说,23点有世界杯决赛呢!可是,孤要写博文的啊!以记录这忙乱的下午和晚间成功安装了一个软件到Linux上.--2250 有两种方式在Linux上安装MongoDB:.deb packages(官方推荐,是有道理的,[泪奔])..tgz tarballs.由于自己之前下载了tgz源码包,所以,一开始就选择从tgz源码包开始安装,结果,因为libcrypto.so.10.libssl.so.10没有找到的问题,

Ubuntu 18.04安装Samba服务器及配置

Ubuntu 18.04安装Samba服务器及配置 局域网下使用samba服务在Linux系统与Windows系统直接共享文件是一项很方便的操作.以Ubuntu为例配置samba服务,Linux服务器的版本是Ubuntu 18.04.1 LTS. 在终端中执行下列指令:cat /etc/issue查看当前正在运行的 Ubuntu 的版本号. 以下是我的安装配置步骤: (1)更新当前软件. sudo apt-get upgrade  sudo apt-get update  sudo apt-ge

Ubuntu 18.04安装搜狗输入法

Ubuntu 18.04安装搜狗输入法 打开 terminal,输入 fcitx,检查是否安装搜狗输入法依赖,若提示未安装使用以下命令安装 sudo apt-get install fcitx-bin 然后使用以下命令 sudp apt-get install fcitx-table 打开settings,选择 region&language 再点击右侧的 manage installed languages,将 ibus 修改为 fcitx 然后重启 ubuntu. 去搜狗官网下载搜狗输入法

Ubuntu 18.04安装Docker CE + NVIDIA-Docker

容器将应用程序封装到隔离的虚拟环境中,以简化数据中心的部署.通过将所有应用程序依赖项 (例如二进制文件和库) 都包括在内,应用程序容器能在任何数据中心环境中无缝地运行. 英伟达基于Docker 提供的NVIDIA-Docker可用于容器化 GPU 加速的应用程序.这意味着无需进行任何修改即可轻松容器化和隔离加速的应用程序,并将其部署到任何受支持的.可使用 GPU 的基础架构上. 管理和监控加速的数据中心将变得空前容易. 一.安装Docker 在前面的博文中,我们已经介绍了在Ubuntu系统中安装

虚拟机Ubuntu 18.04安装RabbitMQ 3.7.9

Windows 10家庭中文版,VirtualBox,Ubuntu 18.04,Rabbitmq 3.7.9,Erlang/OTP 20 [erts-9.2], 在虚拟机上装好了Ubuntu,写了一个一对一的Spring Boot程序,成功发送.接收消息,本文为记录这个过程--第一次用rabbitmq. 这次用的是deb包安装,后面可以使用apt工具安装下. 下载安装包后,双击即可开始安装: 安装成功. 第一次写的程序执行失败了,因为,新建用户admin没有虚拟机的权限:添加后执行成功. 命令:

Ubuntu 18.04 安装java8

OpenJDK和Oracle Java有两个主要的实现,几乎没有区别,只是Oracle Java有一些额外的商业功能. 安装OpenJDK OpenJDK 10,Java平台的开源实现是Ubuntu 18.04中的默认Java开发和运行时. 一旦OpenJDK 11达到GA,它将成为Ubuntu 18.04的默认版本. 安装OpenJDK非常简单直接. 安装OpenJDK 10 JDK sudo apt install default-jdk 安装OpenJDK 8 JDK sudo apt i

Ubuntu 18.04 安装youtube-dl 与 FFMPEG心得!

Youtube-dl是一款不错的Youtube视频下载工具与FFMPEG配合可以在主机上很轻松的下载Youtube上的任意可视视频. 关于Youtube-dl的教程网上多的很.基本上都只说明了安装步骤.却没有说明使用是报错问题的解决与修正. 这次本文连同安装与错误解决方案一同说明. 1.Youtube-dl基本支持三种系统.Centos .Ubuntu.Windows.个人感觉Ubuntu 安装时比较容易看懂.使用是在压制视频时比其他两个系统都要显得略好一些. 2.本文就用Ubuntu 18.0

Ubuntu 18.04 安装 wxPython4.0.4

因为 wxPython4.x 不提供 Linux 下的 bin 文件安装,以下记录 Ubuntu 18.04 的安装过程. 1)安装 gtk-2.0 (你也可以使用 libgtk-3-dev,如果你打算用 gtk3) $ sudo apt-get install libgtk2.0-dev 2)安装必要的库 $ sudo apt-get install libcanberra-gtk-module 3)安装 gtk 头文件自动查找工具 $ sudo apt-get install pkg-con

Ubuntu 18.04安装mysql

这里是Ubuntu 18.04的mysql安装教程,ubuntu低版本或其他非Debian的Linux发行版可能不适用. 安装mysql sudo apt-get install mysql-server sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev 这里我安装完了没有提示设置密码或其他配置项的步骤,所以有需要的话可以看下一步更改默认密码. 更改默认密码 查看默认配置文件 sudo cat /e