Ubuntu 14.10 下安装伪分布式hive-0.14.0

本地独立模式,MySQL作为元数据库

1 安装环境准备

  1.1 安装JDK,在安装hadoop时候已经安装了,参考http://www.cnblogs.com/liuchangchun/p/4097286.html

  1.2 安装hadoop,参考http://www.cnblogs.com/liuchangchun/p/4097286.html

  1.3 安装MySQL数据库,参考http://www.cnblogs.com/liuchangchun/p/4099003.html

  1.4 新建hive数据库,用户,赋予权限

mysql -u root -p
insert into user(Host,User,Password) values("localhost","hive",password("hive"));
FLUSH PRIVILEGES;

GRANT ALL PRIVILEGES ON *.*  TO ‘hive‘@‘localhost‘ IDENTIFIED BY ‘hive‘;
FLUSH PRIVILEGES;
create database hive;

2 安装hive

  2.1 下载最新hive,网址http://mirror.bit.edu.cn/apache/hive/,我下载的是apache-hive-0.14.0-bin

  2.2 解压到合适的目录

  2.3 配置hive环境变量

sudo nano /etc/profile
export JAVA_HOME=/usr/dev/jdk1.7.0_51
export LD_LIBRARY_PATH=/home/lcc/software/dev/protobuf-2.5.0
export ANT_HOME=/usr/dev/apache-ant-1.9.4

export HADOOP_HOME=/home/lcc/software/hadoop/hadoop-2.5.0
export HBASE_HOME=/home/lcc/software/hadoop/hbase-0.99.0
export HIVE_HOME=/home/lcc/software/hadoop/apache-hive-0.14.0-bin

export PATH=$PATH:$ANT_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib

  2.4 修改hive/conf下的几个template模板,并重命名为其他

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml

  2.5 配置hive-env.sh文件,指定HADOOP_HOME

HADOOP_HOME=/home/lcc/software/hadoop/hadoop-2.5.0

  2.6 修改hive-site.xml文件,指定MySQL数据库驱动、数据库名、用户名及密码,修改的内容如下所示

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>true</value>
  <description></description>
</property>

  2.7 修改hive/bin下的hive-config.sh文件,设置JAVA_HOME,HADOOP_HOME

export JAVA_HOME=/usr/dev/jdk1.7.0_51
export HADOOP_HOME=/home/lcc/software/hadoop/hadoop-2.5.0
export HIVE_HOME=/home/lcc/software/hadoop/apache-hive-0.14.0-bin

  2.8 下载mysql-connector-java-5.1.27-bin.jar文件,并放到$HIVE_HOME/lib目录下

  2.9 在HDFS中创建/tmp和/user/hive/warehouse并设置权限

hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

  2.10 启动hadoop。进入hive shell,输入一些命令查看

hive
show databases;
show tables;

  2.11 可以在hadoop中查看hive生产的文件

hadoop dfs -ls /user/hive/warehouse

-----------------------------------------------------------------------------------------------------------------

按理说在mysql中会存储hive的元数据啥的,但是我这mysql中没有,不知道为啥。。。。

时间: 2024-10-22 15:01:48

Ubuntu 14.10 下安装伪分布式hive-0.14.0的相关文章

Ubuntu 13.10 下安装伪分布式hbase 0.99.0

HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中.本文是安装的伪分布式. 安装步骤如下 1 环境配置 2 安装说明 1 环境配置 1.1 Java JDK 安装,下载JDK,配置环境变量 sudo nano /etc/profile export JAVA_HOME=/usr/dev/jdk1.7.0_51 export HADOOP_HOME=/home/lcc/software/

ubuntu 15.10下安装PyQt5

目标是  http://www.oschina.net/p/pyqt 开源中国 客户端 1 http://pyqt.sourceforge.net/Docs/PyQt5/installation.html#configuring-pyqt5 下载安装  http://www.riverbankcomputing.com/software/pyqt/download5 Error: PyQt5 requires Qt v5.0 or later I want to install PyQt5 on

Centos6下安装伪分布式Hadoop集群

Centos6下安装伪分布式hadoop集群,选取的hadoop版本是apache下的hadoop2.7.1,在一台linux服务器上安装hadoop后,同时拥有namenode,datanode和secondarynamenode等节点的功能,下面简单安装下. 前置准备 主要涉及防火墙关闭.jdk安装.主机名修改.ip映射.免密登录设置等. 关闭防火墙 有临时和永久,这里使用永久关闭的方式. # 临时关闭 [[email protected] ~]# service iptables stop

Ubuntu 14.04/14.10下安装VMware Workstation 11图文教程

VMware workstation 是一个可以进行桌面操作的虚拟软件.它可以让我们在一台电脑或者虚拟机中运行多个虚拟机. 由VMware公司研发和维护.由于是商业软件,我们需要买他们家的许可证或者说使用30天的试用版.最近呢,VMware workstation11已经发型了.这次发行的版本有很大的改变,只能安装在有64位处理器的电脑上.以前的那些版本都是可以装在64位和32位电脑 上的. 在这个专栏中我们将讨论VMware Workstation 11在Ubuntu14.04和14.10中的

[转] Ubuntu 14.04/14.10下安装VMware Workstation 11图文教程

点击这里查看原文 译者:GuiltyMan 本文由 Linux公社翻译组 原创翻译  Linux公社 诚意奉献 Linux公社原创翻译频道:http://www.linuxidc.com/topicnews.aspx?tid=15 本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-01/111791.htm VMware workstation 是一个可以进行桌面操作的虚拟软件.它可以让我们在一台电脑或者虚拟机中运行多个虚拟机. 由VMware公司研发和

Ubuntu 14.04/14.10下安装VMware Workstation

VMware workstation 是一个可以进行桌面操作的虚拟软件.它可以让我们在一台电脑或者虚拟机中运行多个虚拟机. 由VMware公司研发和维护.由于是商业软件,我们需要买他们家的许可证或者说使用30天的试用版.最近呢,VMware workstation11已经发型了.这次发行的版本有很大的改变,只能安装在有64位处理器的电脑上.以前的那些版本都是可以装在64位和32位电脑 上的. 在这个专栏中我们将讨论VMware Workstation 11在Ubuntu14.04和14.10中的

[转]CentOS下安装伪分布式Hadoop-1.2.1

From: http://blog.csdn.net/yinan9/article/details/16805275 环境:CentOS 5.10(虚拟机下) [[email protected] hadoop]# lsb_release -a   LSB Version:    :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch  

ubuntu 下安装伪分布式 hadoop

安装准备: (1)hadoop安装包:hadoop-1.2.1.tar.gz (2)jdk安装包:jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclipse安装包 和eclipse和hadoop相关连的jar包. 安装: (1)能够选择一个新建用户安装 也能够使用眼下账户. (2)规定 所属用户组: (3) 给予用户hadoop权限: sudo vim /etc/sudoers 改动加入: watermark/2/text/aHR0cDovL2Jsb

Ubuntu 14.10 下安装rabbitvcs-版本控制

在Windows下用惯了TortoiseSVN这只小乌龟,到了Ubuntu下很不习惯命令行的SVN,于是经过一番寻找安装了RabbitVCS这款SVN图形化前端工具(官方网站:http://rabbitvcs.org/),界面和功能可以说几乎和TortoiseSVN一模一样,与Nautilus整合程度很高,右键菜单.文件夹图标等等使用习惯一个都不落下!而且还有Git等功能,这绝对算得上是最佳替代品.至于兔子是是否能够跑得过乌龟,需要大家的检验了~ 废话不多说,开始安装了!在终端输入如下命令添加源