配置Hive数据仓库

1、在线安装mysql服务

#下载安装mysql
yum install mysql mysql-server mysql-devel

#启动mysql服务
cd /etc/
init.d/mysqld start

#mysql连接并登录
mysql

#修改登录mysql用户名及密码
USE mysql;
UPDATE user SET Password=PASSWORD(‘password‘) WHERE user=‘root‘;

#设置允许远程登录
GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘% ‘ IDENTIFIED BY ‘password‘ WITH GRANT OPTION;

#强制写入
FLUSH PRIVILEGES;

2、配置hive

#1.上传安装包并解压
#然后,cd /export/servers/hive-1.2.1/conf

#2.修改hive-env.sh
# Set HADOOP_HOME to point to a specific hadoop install directory
 HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/export/servers/hive-1.2.1/conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/export/servers/hive-1.2.1/lib

#3.新建hive-site.xml文件
<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>password</value>
  <description>password to use against metastore database</description>
</property>
 <property>
      <name>hive.server2.thrift.port</name>
      <value>10000</value>
 </property>
 <property>
       <name>hive.server2.thrift.bind.host</name>
       <value>node01</value>
 </property>
</configuration>

#4.上传mysql连接驱动的jar包到/export/servers/hive-1.2.1/lib 目录下
#5.配置hive的系统环境变量
vim /etc/profile
export HIVE_HOME=/export/servers/hive-1.2.1
export PATH=:$HIVE_HOME/bin:$PATH

3、hive的远程服务

#1.将node01上的hive安装包分发到node02、node03上,命令如下:
cd /export/servers
scp -r hive-1.2.1 node02:$PWD
scp -r hive-1.2.1 node03:$PWD

#2.在node01上启动hadoop集群
#3.在node01上启动hiveserver2服务,然后克隆当前会话,jps,查看一下当前进程
cd /export/servers/hive-1.2.1/bin
hiveserver2

#4.在node02上使用beeline远程连接至hive服务端
cd /export/servers/hive-1.2.1
bin/beeline

#5.输入远程连接协议,连接到指定hive服务的主机名和端口(默认10000)
!connect jdbc:hive2://node01:10000

#6.输入连接hive服务器的用户名和密码

原文地址:https://www.cnblogs.com/aurora1123/p/11927009.html

时间: 2024-08-02 23:51:19

配置Hive数据仓库的相关文章

Hadoop系列之Hive(数据仓库)安装配置

Hadoop系列之Hive(数据仓库)安装配置1.在NameNode安装  cd /root/soft  tar zxvf apache-hive-0.13.1-bin.tar.gz   mv apache-hive-0.13.1-bin /usr/local/hadoop/hive2. 配置环境变量(每个节点都需要增加) 打开/etc/profile #添加以下内容: export HIVE_HOME=/usr/local/hadoop/hive export PATH=$HIVE_HOME/

Hive数据仓库工具安装

一.Hive介绍 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单SQL查询功能,SQL语句转换为MapReduce任务进行运行. 优点是可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.缺点是Hive不适合在大规模数据集上实现低延迟快速的查询. 二.安装Hive 环境:Docker(17.04.0-ce).镜像Ubuntu(16.04.3).JDK(1.8.0_144).

高速查询hive数据仓库表中的总条数

Author: kwu 高速查询hive数据仓库中的条数.在查询hive表的条数,通常使用count(*).可是数据量大的时候,mr跑count(*)往往须要几分钟的时间. 1.传统方式获得总条数例如以下: select count(*) from ods.tracklog; 执行时间为91.208s 2.与关系库一样hive表也能够通过查询元数据来得到总条数: select d.NAME,t.TBL_NAME,t.TBL_ID,p.PART_ID,p.PART_NAME,a.PARAM_VAL

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

续上一篇:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二) 准备工作下载最新连接器地址 https://dev.mysql.com/downloads/connector/j/ 例子:下载mysql-connector-java-5.1.41.tar 1.解压连接器connector文件 1.1.解压 [[email protected] Software]# tar xzfmysql-connector-java-5.1.41.tar.gz [[e

安装配置hive

安装配置hive 用到的工具: mysql mysql-connector-java-5.1.22-bin.jar hive-0.12.0.tar.gz 1 安装MySQL:yum install mysql-server service mysqld start 2 使mysql开机自启: chkconfig -add mysqld ( 查看mysql的执行权限 chkconfig --list | grep mysql mysql 开机自启动(附权) chkconfig mysqld on

基于Cloudera Manager5配置HIVE压缩

[Author]: kwu 基于Cloudera Manager5配置HIVE压缩,配置HIVE的压缩,实际就是配置MapReduce的压缩,包括运行结果及中间结果的压缩. 1.基于HIVE命令行的配置 set hive.enforce.bucketing=true; set hive.exec.compress.output=true; set mapred.output.compress=true; set mapred.output.compression.codec=org.apache

快速查询hive数据仓库表中的总条数

Author: kwu 快速查询hive数据仓库中的条数,在查询hive表的条数,通常使用count(*),但是数据量大的时候,mr跑count(*)往往需要几分钟的时间. 1.传统方式获得总条数如下: select count(*) from ods.tracklog; 2.与关系库一样hive表也可以通过查询元数据来得到总条数: <pre name="code" class="sql">select d.NAME,t.TBL_NAME,t.TBL_I

Linux配置hive

1.下载HIVE压缩包 2.解压(用Xftp将压缩包上传到Linux中) tar -zxvf apache-hive-1.2.1-bin.tar.gz 3.重命名 mv apache-hive-1.2.2-bin hive 4.(hive是个工具)所以解压之后 在bin中启动服务 启动命令为./hive 5.建数据库 hive>create database wk110; 6.建表 hive>create table t_first (id int, name string,salary st

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

一.Hive的简单使用 基本的命令和MySQL的命令差不多 首先在 /opt/datas 下创建数据  students.txt 1001 zhangsan 1002 lisi 1003 wangwu 显示有多少数据库: show databases; 使用某个数据库: use 数据库名称; 显示当前数据库下的表: show tables; 创建数据表 : create table student (id int,name string) ROW FORMAT DELIMITED FIELDS