[Hadoop入门] - 2 ubuntu安装与配置 hadoop安装与配置

ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力)

ubuntu安装参考教程:  http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html

注意下面几点:

1、设置虚拟机的IP, 点击虚拟机的右下角网络连接图标, 选择”桥接模式“, 这样才能分配到你的局域网IP, 这个很重要因为后面hadoop要用到局域网。

2、在ubuntu里面查看ip的命令:ifconfig可以显示出你的IP地址, 看一下IP是否为你的局域网IP地址。

3、ubuntu设置中文,在左侧工具栏上点击系统设置那个齿轮-->language support 在这个界面上可以选择add/del language进去找到中文的选项勾上, 点安装完成后在语言列表里就有汉语(中国),如果是灰色在最下面的选项,用鼠标按着这个项拖到最上面就是黑色的,选择应用到全局再重启。

4、ubuntu不像windows那样人性化, 啥安装的软件都在开始菜单里, 当然也可以安装这个插件, 但我认为不需要那么麻烦啦,因为在左侧工具栏最上面那个三点圈, 可以搜出你所有的已安装程序, 个人建议自己下载的软件就放到home下面的一个文件夹就好。

5、ubuntu按crtl+alt+t打开终端, 如果不是root账号系统除了home文件夹下其它地方很少权限的, 记得如果你的文件夹不在home下, 就要用终端chmod命令修改权限, 不然会出错。

Java安装

sudo apt-get install openjdk7 这样的命令安装最好, 当然也可以下载tar.gz包安装, 但需要自己配置java_home等工作, 请大家百度一下。 如果是sudo apt-get这种方式的, 一般会安装在/usr/lib/jvm/这个路径下, 通过终端, 你输入java -version, 如果能显示版本号, 说明安装成功了。

SSH安装

sudo apt-get install openssh-server, 至少配置产生密钥这些请大家百度一下。

mysql安装

sudo apt-get install mysql-server, 安装然后安装个mysql workbench这样的类似客户端的平台, 方便你可视化操作mysql

hadoop安装与配置

下载hadoop1.2.1的tar.gz包,解压后把文件夹改名为hadoop,  复制一份到/usr/local/下面, 如果你当前的账号操作不了local这文件夹, 记得用其它有权限的账号来操作, 最好还是建一个hadoop组再添加一个hadoop账号来操作, 怎添加用户组与用户, 还是通过命令add usergroup/add user这些。 复制完成后, 通过root账号把hadoop文件夹的权限chmod -R 777, 也就是这文件夹下面所有内容对所有人所有权限开放, 测试环境没啥太大关系。

hadoop有三种工作模式:单机,伪分布式, 完全分布式。

单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

伪分布式模式就是一个机器又当主机又当重机, 所有的操作都在一个机器上实现, 这时已经存在HDFS,守护进程这些, 需要配置conf/core-site.xml, hdfs-site.xml, mapred-site.xml, hadoop-env.sh这几个文件。

core-site.xml配置内容如下:

<configuration>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://172.27.27.3:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

第一个节点内容解析就是hdfs就是这个hadoop hdfs系统服务器的地址和端口, 下面节点是hadoop tmp的路径

hdfs-site.xml

<configuration>
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

第一个节点是工作模式的选择, 如果1就是我们测试用的伪分布模式

mapred-site.xml

<configuration>
  <property>
        <name>mapred.job.tracker</name>
        <value>172.27.27.3:9001</value>
    </property>
</configuration>

修改conf/hadooop-env.sh里面的java-home为你的java安装目录

配置好了这些内容后, 通过终端进到hadoop文件夹, cd /你的路径/ 就可以进到了, 通过bin/start-all.sh启动hadoop服务, bin/stop-all.sh来停止服务。

如果启动成功的,通过jps可以发现有6个进程, 如果启动失败, 请检查你的java JDK是否安装成功, hadoop目录权限, 上面几个文件的设置等。

时间: 2024-10-24 23:20:36

[Hadoop入门] - 2 ubuntu安装与配置 hadoop安装与配置的相关文章

[Hadoop入门] - 1 Ubuntu系统 Hadoop介绍 MapReduce编程思想

Ubuntu系统 (我用到版本号是140.4) ubuntu系统是一个以桌面应用为主的Linux操作系统,Ubuntu基于Debian发行版和GNOME桌面环境.Ubuntu的目标在于为一般用户提供一个最新的.同时又相当稳定的主要由自由软件构建而成的操作系统,它可免费使用,并带有社团及专业的支持应. 作为Hadoop大数据开发测试环境, 建议大家不要在windows上安装CgyWin来学习或研究, 直接用Vmware+ubuntu来学习. 下载 www.vmware.com这里下载vmware,

ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者

各种纠结  期间ubuntu安装无数次 hadoop各种版本尝试无数次 都悲剧 然后看到这个www.linuxidc.com/Linux/2013-01/78391.htm  还是悲剧,稍加修改搞定之 一.安装JDK 1.下载并安装 sudo apt-get install openjdk-7-jdk 要求输入当前用户密码时输入密码,回车: 要求输入YES/NO时,输入YES,回车,一路向下安装完成: 2.在命令行输入JAVA -VERSION查看是否安装成功 3.配置环境变量 编辑文件/etc

在虚拟机VM中安装的Ubuntu上安装和配置Hadoop

一.系统环境: 我使用的Ubuntu版本是:ubuntu-12.04-desktop-i386.iso jdk版本:jdk1.7.0_67 hadoop版本:hadoop-2.5.0 二.下载jdk和hadoop,并上传到Ubuntu系统中 Vmware中的Linux与主机系统Windows交互文件的方法请参考:http://blog.chinaunix.net/uid-27717694-id-3834143.html 三.设置hadoop用户: sudo addgroup hadoop #创建

ubuntu环境下eclipse的安装以及hadoop插件的配置

ubuntu环境下eclipse的安装以及hadoop插件的配置 一.eclipse的安装 在ubuntu桌面模式下,点击任务栏中的ubuntu软件中心,在搜索栏搜索eclipse 注意:安装过程需要输入用户密码. 二.eclipse的配置 待eclipse安装好以后,在命令行输入whereis eclipse 找到eclipse的安装路径 在文件目录下找到eclipse中的插件目录 然后在打开一个文件目录窗口找到hadoop/contrib/eclipse-plugin中的eclipse插件—

Hadoop单机模式安装入门(Ubuntu系统)

闲来无事,突然看到关于Hadoop集群.以前也了解过,网上找过一些关于百度,谷歌等底层hadoop集群的文档,可是面对很多陌生的技术,看不太通透.所有想自己动手虚拟机试试.经常听到这么高大上的名词,Hadoop已经成为大数据的代名词.短短几年间,Hadoop从一种边缘技术成为事实上的标准.而另一方面,MapReduce在谷歌已不再显赫.当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代. Hadoop支持三种启动集群模式,分别是单机模式,wei分布式模式,安全分布式模式.下面我做

Linux -&gt;&gt; UBuntu 14.04 LTE下安装Hadoop 1.2.1(集群分布式模式)

安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用户,就像windows下的服务账户,并且授权给他可以访问运行JDK目录权限,让他可以执行java虚拟机.这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务,那运行账户肯定是他了,他肯定要有足够的权限.再者,需要配置这个账户的个人环境变量,把Java虚拟机的主目录地址环境

ubuntu 下安装伪分布式 hadoop

安装准备: (1)hadoop安装包:hadoop-1.2.1.tar.gz (2)jdk安装包:jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclipse安装包 和eclipse和hadoop相关连的jar包. 安装: (1)能够选择一个新建用户安装 也能够使用眼下账户. (2)规定 所属用户组: (3) 给予用户hadoop权限: sudo vim /etc/sudoers 改动加入: watermark/2/text/aHR0cDovL2Jsb

转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

win7+Ubuntu双系统安装以及hadoop伪分布式安装

首先安装双系统进行伪分布式实验,安装win7+ubuntu双系统: 1.右键单击“我的电脑”进入“管理”,双击“存储”,再双击“磁盘管理”,在D盘位置右击“压缩卷”,分出一个大小为50G的磁盘空间,然后格式化,之后再删除卷,作为安装ubuntu系统所用. 2.下载安装easyBCD软件,新建一个Neo Grub启动,然后在点击设置,添加一下语句: title install ubuntu 12.04 LTS root(hd0,5) kernel(hd0,5)/vmlinuz boot=caspe