hive 安装配置部署与测试

  • 系统初始化
  • mysql5.6 的安装配置
  • hive 的安装配置处理

一: 系统环境初始化

1.1 系统环境:

 CentOS6.4x64
 安装好的hadoop伪分布环境
 所需软件包:

 apache-hive-0.3.1.tar.gz
 mysql-connector-java-5.1.27.tar.gz
 mysql-server-5.6.24-1.el6x86_64
 mysql-client-5.6.24-1.el6x86_64

 上传到/home/hadoop/yangyang/

二: 安装mysql5.6数据库(使用root用操作)

2.1. 安装mysql 5.6的包

   rpm -qa |grep mysql
   rpm -e --nodeps mysql-libs 

   rpm -ivh /home/hadoop/mysql-*
   service mysql start 

2.2 修改mysql 密码

mysql -uroot -p
mysql> set password = password("123456");
mysql> flush privileges;

2.3 mysql 授权主机

mysql> grant all privileges on *.* to [email protected]‘namenode01.hadoop.com‘ identified by ‘123456‘;
mysql> flush privileges


三: 安装hive 处理

3.1 在hdfs 上面配置hive 的元数据目录

        bin/hdfs dfs -mkdir /tmp
        bin/hdfs dfs -mkdir -p /user/hive/warehouse
        bin/hdfs dfs -chmod g+w /user/hive/warehouse
        bin/hdfs dfs -chmod g+w /tmp

3.2 安装hive修改hive 的配置文件

      tar -zxvf apache-hive-0.13.1-bin.tar.gz
      mv apache-hive-0.13.1-bin yangyang/hive
      cd yangyang/hive/conf

3.3 修改hive-env.sh

cp -p hive-env.sh.template hive-env.sh
vim hive-env.sh
 export HADOOP_HOME=/home/hadoop/yangyang/hadoop
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/yangyang/hive/conf

3.4 修改hive-site.xml

cp -p hive-default.xml.template hive-site.xml
vim hive-site.xml
<property>
  <name>hive.cli.print.header</name>
  <value>true</value>  <!-- false 改为true -->
  <description>Whether to print the names of the columns in query output.</description>
</property>

<property>
  <name>hive.cli.print.current.db</name>
  <value>true</value> <!-- false 改为true -->
  <description>Whether to include the current database in the Hive prompt.</description>
</property>

3.5 增加内容mysql连接方面的内容:

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://namenode01.hadoop.com:3306/metastore?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
</property>

3.6 开启logs 日志信息内容

cp -p hive-log4j.properties.template hive-log4j.properties
vim hive-log4j.properties

hive.log.dir=/home/hadoop/yangyang/hive
hive.log.file=hive.log

3.7 加上mysql的jdbc 的jar 包

tar -zxvf mysql-connector-java-5.1.27.tar.gz
cd mysql-connector-java-5.1.27/
cp -p mysql-connector-java-5.1.27-bin.jar yangyang/hive/lib/
运行hive
bin/hive

原文地址:http://blog.51cto.com/flyfish225/2096888

时间: 2024-11-09 09:46:26

hive 安装配置部署与测试的相关文章

Mac上Hive安装配置

Mac上Hive安装配置 1.安装 下载hive,地址:http://mirror.bit.edu.cn/apache/hive/ 之前我配置了集群,tjt01.tjt02.tjt03,这里hive安装在tjt01机器上. 我下载的是“apache-hive-3.0.0-bin.tar.gz”,将hive 3.0版本上传到/opt目录,并解压到/usr/local下: [[email protected] ~]# cd /opt [[email protected] opt]# tar -zxv

Hive安装配置及基本操作

Hive安装配置及基本操作 1. Hive安装及配置 (1). 上传文件到Hadoop102节点,解压到/opt/moudle (2). 修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [[email protected] conf]$ cp hive-env.sh.template hive-env.sh (3). 配置hive-env.sh文件 ? (a). 配置HADOOP_HOME路径 : export HADO

Hive安装与部署集成mysql

前提条件: 1.一台配置好hadoop环境的虚拟机.hadoop环境搭建教程:稍后补充 2.存在hadoop账户.不存在的可以新建hadoop账户安装配置hadoop. 安装教程: 一.Mysql安装 1.安装mysql命令:Yum install mysql-server -y (-y参数作用为所有需要输入yes的地方默认yes) 2.打开mysql服务:Service mysqld start 3.设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add my

Hive 安装与部署

前提条件: 1.一台配置好hadoop环境的虚拟机.hadoop环境搭建教程:稍后补充 2.存在hadoop账户.不存在的可以新建hadoop账户安装配置hadoop. 安装教程: 一.Mysql安装 1.安装mysql命令:Yum install mysql-server -y (-y参数作用为所有需要输入yes的地方默认yes) 2.打开mysql服务:Service mysqld start 3.设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add my

Hadoop学习之第七章节:Hive安装配置

环境要求: mysql hadoop hive版本为:apache-hive-1.2.1-bin.tar 1.设置hive用户 进入mysql命令行,创建hive用户并赋予所有权限: mysql -uroot -proot mysql>create user 'hive' identified by 'hive'; mysql>grant all on *.* TO 'hive'@'%' with grant option; mysql>flush privileges; 2.创建hiv

Hadoop2.7的配置部署及测试

1.环境准备: 安装Centos6.5的操作系统 下载hadoop2.7版本的软件 wget http://124.205.69.132/files/224400000162626A/mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.1.tar.gz 下载jdk1.87版本的软件 wget http://download.oracle.com/otn-pub/java/jdk/8u60-b27/jdk-8u60-linux-x6

hive安装配置+与hbase整合

一.hive介绍hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 二.安装hive安装前提是hadoop集群已经安装好,并且采用cdh的yum源,hadoop.hdfs.hbase等已经就绪. yum -y install hive

Emacs发邮件插件Mew安装配置及发信测试

使用Emacs已有一年的时间了,发现现在已离不开她了!^_*.(公司的Win7安装了Emacs.自己的PC也安装了Emacs.公司的虚拟桌面也安装了Emacs.服务器上也安装了Emacs.哎,凡是可以安装的都给安装了);-) 我一般使用Emacs的Org-mode模式,用她来做日常的项目管理,非常的方便.Org-mode模式可以导出很多种格式,其中就可以导出为html格式,然后可以把html格式的文档发到博客上.哦,跑题了! 本文大纲: 配置Melpa源 安装Mew 配置Mew 发送邮件测试 简

debian8下安装配置部署zabbix3.0

一.安装配置zabbix server web server服务器:172.28.0.187 mysql服务器:172.28.0.237 1.安装web server(172.28.0.187) A.官方文档 zabbix官方提供了基于packages和编译安装方式的安装文档 这里server我使用package方式安装,agent使用源码编译的方式安装,因为server只有一台,而agent有很多台,需要对安装好的agent修改配置并重新打包,以方便后期批量部署. zabbix的package