在Linux上安装Hadoop

先决条件:

Hadoop是用JAVA写的,所以首先要安装Java。在Ubuntu上安装JDK见:http://blog.csdn.net/microfhu/article/details/7667393

我下载的Hadoop版本号是2.4.1。要求至少安装JDK 6以上。

Linux是唯一支持的生产环境。Unix。Windows或者Mac OS能够作为开发环境。在Windows上安装Hadoop须要Cygwin。而且在Cygwin里要包括openssh。

到hadoop.apache.org上下载最新的稳定版hadoop。hadoop-2.4.1.tar.gz

将其解压到某文件夹下,比如:

/home/norris/soft/hadoop-2.4.1

解压命令:tar -xvf ./hadoop-2.4.1.tar.gz

配置环境变量:

打开/home/norris/.profile文件:vi ~/.profile

我用的是Ubuntu 14.04.1,其他Linux系统的这个文件可能叫.bash_profile或.bash_login

在最后加上:

export HADOOP_INSTALL=/home/norris/soft/hadoop-2.4.1

export PATH=${PATH}:${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin

保存文件。并运行使其生效:source ~/.profile

此时你的环境变量中应该有JAVA和HADOOP_INSTALL

运行:hadoop version,出现版本号信息。表示成功安装。

接下来要配置Hadoop的执行模式和HDFS,MapReduce(Yarn)

时间: 2025-01-02 14:23:58

在Linux上安装Hadoop的相关文章

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建authorized_keys文件 2.6将authorized_keys文件复制到其他机器 2.7 测试使用ssh进行无密码登录 2.7.1在hserver1上进行测试 2.7.2在hserver2上进行测试 2.7.3在hserver3上进行测试 3安装jdk和hadoop 3.1安装JDK 3

在Linux上搭建Hadoop

在Linux上搭建Hadoop集群搭建笔记 1.安装虚拟机 下载软件: VMware workstation CentOS 镜像 2.远程连接 下载软件并安装 Xshell5 http://www.netsarang.com/products/xsh_overview.html xftp5 http://www.netsarang.com/products/xfp_overview.html (1)打开Xshell (2)输入会话名称和ip地址 在右下角的位置将虚拟机的网络连接改为桥接模式且选中

使用maven在linux上对hadoop 2.2进行编译

使用maven在linux上对hadoop 2.2进行编译 0.环境介绍: Hadoop信息: Version: 2.2 下载地址: http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/ 源码包:hadoop-2.2.0-src.tar.gz 软件包:hadoop-2.2.0.tar.gz Os环境: [[email protected] ~]#  lsb_release -a LSB Version::base-4.0-amd64

在Linux上安装JDK7

查看是否安装了JDK 如果安装完毕后,jdk版本不是当前所安装的,则需要卸载之前linux自带的jdk版本,因为安装Redhat9后默认安装了jdk, 可是默认安装的jdk1.4版本比较老,所以需要先卸载掉原有的java 版本. [[email protected]]# java -version      查看安装的java版本信息 [[email protected]]# rpm -qa |grep -i java      查看存在java安装情况命令 java-1.4.2-gcj-com

在 Windows 上安装 Hadoop 教程(转)

在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/[email protected] 1. 安装 JDK 不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE. MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的. JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp JDK 下载地址:http://jav

在Linux上安装Oracle RAC 12 c(12.1) 虚拟机,一步一步向导

Oracle RAC 12 c(12.1)在Linux上安装虚拟机,一步一步向导 今天我们将看到如何安装 12 c版本1 RAC(真正的应用程序集群)数据库2 Linux 64位的虚拟机 使用VMWare或Oracle VirtualBox. 甲骨文的“c”12 c代表“ 云 ” 有一些重要和有趣的变化时安装12 c相比11 g RAC. 甲骨文似乎增加了很多新的有趣的特性在12摄氏度. 请注意,我们需要2虚拟机各有3 GB内存. 所以如果你有足够的记忆你的笔记本电脑/ PC机或服务器上,那么你

Linux上安装编译工具链

在Linux上安装编译工具链,安装它会依赖dpkg-dev,g++,libc6-dev,make等,所以安装之后这些依赖的工具也都会被安装.ubuntu软件库中这么描述 Informational list of build-essential packages If you do not plan to build Debian packages, you don't need this package. Starting with dpkg (>= 1.14.18) this package

在Linux上安装mysql数据库,我们可以去其官网上下载mysql数据库的rpm

在Linux上安装mysql数据库,我们可以去其官网上下载mysql数据库的rpm包,http://dev.mysql.com/downloads/mysql/5.6.html#downloads,大家可以根据自己的操作系统去下载对应的数据库文件,目前最新的版本是5.6.10了. 在这里我是通过yum来进行mysql数据库的安装的,通过这种方式进行安装,可以将跟mysql相关的一些服务.jar包都给我们安装好,所以省去了很多不必要的麻烦!!! http://www.baobao18.com/De

Linux 上安装 weblogic12C (静默安装) (一)

最近负责在linux上安装weblogic,领导说要安装最新的版本,版本号为 12.1.X.开始以为和旧版安装一样,使用控制台的方式,下载bin文件,然后一步步在console执行下来就行了.万万没想到,从12C版本后, bin文件不提供了,改成全系统通用的jar文件 (generic.jar).试了半天原来那种安装方式不能用了,非得用图形界面安装.由于服务器是在其他地方,肯定不能跑到主机的地址那边.于是各种google.各种找材料, 最后终于找到一种静默方式的安装.大家看下文. PS:经过公司