Ubuntu15.04单机/伪分布式安装配置Hadoop与Hive试验机

环境

系统： Ubuntu 15.04 32bit
Hadoop版本： hadoop-2.5.2.tar.gz
JDK版本： jdk-8u-45-linux-i586.tar.gz
Hive版本：apache-hive-0.14.0-bin.tar.gz
MySQL版本：Open-MySQL

STEP 1:安装JDK

1.配置安装JDK，将JDK解压，

tar -zxvf jdk-8u-45-linux-i586.tar.gz /usr/lib/jkd/

2.再配置/etc/profile文件

sudo gedit /etc/profile （先只配JDK相关部分）

3.配置默认JDK版本

为了将我们安装的JDK设置为默认JDK版本，还要进行如下工作。

执行代码:

sudo update-alternatives --install
/usr/bin/java java /usr/lib/jdk/jdk1.8.0_45/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jdk/jdk1.8.0_45/bin/javac 300

sudo update-alternatives --config java

测试：

java -version

STEP 2:安装Hadoop

http://dblab.xmu.edu.cn/blog/powerxing/install-hadoop-2-4-1-single-node/

作者在这里介绍得很详细。

但有些问题需要解决:

a.若系统重启之后中途发现jps时，namenode与datanode未能正常启动.

解决：可能是因为重启等原因，sbin/start-dfs.sh要重新运行一下。

STEP 3:安装HIVE

http://www.tuicool.com/articles/bmUjAjj

安装的问题不大，一步步解决即可。

但最后运行hive指令后，再运行show databases; 可能出现一些问题（没有数据库数据显示）并提示：

Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D）

这种原因是因为没有在HIVE_HOME/conf/hive-site.xml文件中指定绝对路径导致的。

解决如下：

a. 新建iotmp文件夹,即 /usr/local/hive/iotmp

b. 在文件hive-site.xml中将${system:java.io.tmpdir}/${system:user.name}换成/usr/local/hive/iotmp

重启Hive即可。

时间： 2024-08-01 03:09:08

Ubuntu15.04单机/伪分布式安装配置Hadoop与Hive试验机的相关文章

【Hadoop】在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu 14.10 前方有坑: 由于之前的分布式系统电脑带不动,所以想换一个伪分布式试一试.用的是Virtualbox + Ubuntu 14.10 .结果遇到了 apt-get 源无法更新的情况,以及安装包安装不全的情况.只好咬一咬牙,又重新把系统给更新一边. apt-get 源无法更新解决方案:传送门首先先备份源列表: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 用编辑器打开: sudo gedit /etc/

HBase基础和伪分布式安装配置

一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 列族(column family),列的集合. 一张表中有多个行健,一个行健读取出来的是一条记录,列族和MySQL中的列差不多,但是它是列的集合 HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的. HBase表中的数据存储在本地磁盘上的时候,每个列族单独一个作为文件存储. 上图表

【hadoop】 hadoop 单机伪分布式安装

准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装配置环境变量 vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_121 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar source /etc/profi

Hadoop2.6.0单机/伪分布式安装

本文地址:http://www.cnblogs.com/myresearch/p/hadoop-standalone-pseudo-distributed-operation.html,转载请注明源地址. 基本环境配置可以使用命令uname -a 查看linux的版本: [email protected]:~$ uname -a Linux ubuntu 3.13.0-24-generic #46-Ubuntu SMP Thu Apr 10 19:11:08 UTC 2014 x86_64 x

安装配置hadoop组件hive问题集锦

用了1天时间,才完成hive的安装配置, 一:首先安装mysql 下载mysql for ubuntu版本,是deb版本 sudo apt-get libaio sudo apt-get libmecab2 之后使用dpkg -i mysql一系列的deb文件 libmysql* mysql-community* mysql-client* mysql-server* 查看whereis mysql,看到安装到了不同的路径可执行文件/etc/bin,配置文件/etc/mysql/conf,等到

Hadoop2.6.0伪分布式安装配置

首先安装JDK,从Oracle官网下载在 /usr/目录下mkdir java创建一个java目录将jdk-7u72-linux-x64.rpm 放入java目录下执行 rpm –ivh jdk-7u72-linux-x64.rpm 再从Apache官网下载在 /usr/目录下 mkdir hadoop 创建一个hadoop目录将hadoop-2.6.0.tar.gz 放入hadoop目录下执行 tar –zxvf hadoop-2.6.0.tar.gz 接下来配置环境变量 vim

Macbook Hbase(1.2.6) 伪分布式安装，Hadoop(2.8.2) ，使用自带zookeeper

首先需要保证hadoop已经在电脑上安装.然后接下来只需要下载hhase配置就行了. Step1: 下载hbase http://archive.apache.org/dist/hbase/1.2.6/ 选择hbase-1.2.6-bin.tar.gz Step2: 解压hbase到指定目录 Step3: 修改配置文件(进去conf文件夹下) Step 3.1: hbase-env.sh export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的基本没什么问题的..eclipse的配置弄了非常长一段时间才弄好的,中间出现各种意外的错误..下篇博客将重点讲述这个艰难的过程... 今天来说说hadoop2.4的安装和配置吧~ 1.环境的准备: 系统:CentOS JDK版本号:jdk7 系统须要包括ssh

1.1伪分布式安装

以下的安装说明适用于Mac.Hadoop2.9.0 一.安装前提支持的平台 GNU/Linux可以作为开发.生产运行环境,在GNU/Linux部署的集群可以支持2000+个节点. 也支持windows平台. 依赖的软件 Java,Hadoop2.7以上版本要求Java版本7以上: 安装了ssh,并且sshd是运行状态,hadoop脚本需要使用ssh远程管理Hadoop后台进程. 二.下载安装包下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/c