CentOS下Hive搭建

目录

  • 1. 前言
  • 2. MySQL安装
    • 2.1 更换yum下载源
    • 2.2 开启MySQL远程登录
  • 3. Hive安装
    • 3.1 下载Hive
    • 3.2 安装Hive和更改配置文件
  • 4. MySQL驱动包的下载
  • 5. 启动与测试

1. 前言

前提是已经安装好了hadoop,我的hadoop搭建主要参考CSDN的博客,当然此次Hive环境的搭建主要也是参考这位博主的另外一个博客。不过我想将搭配过程中他的博客没有提到的几个点记录下来。

2. MySQL安装

主要参考的是这篇博客的,但是出现的第一个问题就是下载得太慢了。为此,我要记录的第一个点就是更换CentOS下yum的下载源。更新完下载源之后再按照步骤安装mysql。

2.1 更换yum下载源

主要参考的博客是这篇,基本按照代码一步步下来就没有问题。

2.2 开启MySQL远程登录

开启了远程登录后,就能在本地访问虚拟机上的MySQL数据库了,具体的操作参考这篇博文。我采用的是授权法,这样在我的workbench可以登入到虚拟机的MySQL数据库。
?

3. Hive安装

3.1 下载Hive

下载网址,选择的是2.3.5版本。

3.2 安装Hive和更改配置文件

Hive仅需要在NameNode上安装即可,按照博客安装配置即可。安装过程中有一个值得注意的点便是使用vim对字符串的全局替换。在vim中使用下列代码可以将字符串${system:java.io.tmpdir}全部替换为/opt/hive/tmp

:%s#${system:java.io.tmpdir}#/opt/hive/tmp#g

还有一点就是对于文件中一些字符串的搜索,只需按下/,再在后面跟上需要查找的字符串即可,然后按小写的n查询下一个,大写的N查询上一个
?

3.2.1 修改hive-site.xml数据库相关的配置

在更改javax.jdo.option.ConnectionURL字段的时候,我搜到的大多数博客包括我主要参考的这篇博客都是修改为<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true</value>(mysql后跟的是ip地址+端口)。但是这样操作的话会有SSL警告,这是我安装好之后才发现的。

然后我找到一篇博客解决了这个问题,这位博主的做法是将该字段修改成<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>。亲测改完之后不会再有SSL警告。

4. MySQL驱动包的下载

下载网址
选择黑框这个下载,之后用scp传输到虚拟机上的正确地址上?

5. 启动与测试

安装参考博客来,先执行schematool -initSchema -dbType mysql,会发现在MySQL数据库中生成了hive数据库。
?

然后按照博客随便启动hive命令行,在其中随意输入几个命令。所有的安装完毕!

原文地址:https://www.cnblogs.com/shayue/p/centos-xiahive-da-jian.html

时间: 2024-11-13 02:38:22

CentOS下Hive搭建的相关文章

centos下如何搭建pptp service(vpn)

其实这些东西应该一弄完就写就比较清楚了,都弄完好久了再写,可能有些地方没写到,希望看到的童鞋帮忙补充,我再更新,有错误请批评指正. 一.Why? 我们可能很多人都喜欢用一些免费的vpn,那样起码随用随有,但是免费的终究是免费的,不会太稳定,每天爬梯子都得重新找梯子,不费劲么,所以们还不如造一个属于自己的梯子,那多稳定,可能贷款没那么大,但是终究没人和你抢有木有. 二.Where? 说道搭建,那咱们首先得有一个自己VPS(Virtual Private Server 虚拟专用服务器),这样才能搭建

一、redis系列之基础知识与centos下环境搭建

1. Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用. Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储. Redis支持数据的备份,即master-slave模式的数据备份. 2. Redis的所有操作都是原子性的,同时Redis还支持对几个操作全并后的原子性执行. 3.Redis支持五种数据类型:string(

CentOS下快速搭建SVN服务器

不说原理,只讲步骤,用最快捷的方法把服务搭建起来. 1.本文使用的系统环境# uname -r 2.6.32-642.11.1.el6.x86_64# cat /etc/system-releaseCentOS release 6.8 (Final) 2.更新系统# yum -y update 3.安装subversion,并查看安装状态# yum -y install subversion# rpm -ql subversion 可以输入命令试试# svn --help 4.配置系统服务创建版

CentOS下快速搭建LAMP环境

LAMP --  Linux Apache MySQL PHP 在CentOS安装的顺序,我一般是Apache -> MySQL -> PHP 第一步.安装并配置Apache 1.使用yum安装 yum install httpd 2.修改防火墙配置,打开80端口,可以顺便把MySQL的3306端口也打开 vi /etc/sysconfig/iptables 添加两条记录 -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACC

CentOS下,搭建Graphite

1.安装主要依赖关系 配置yum,创建/etc/yum.repos.d/epel.repo  并编辑内容如下: [epel]name=Extra Packages for Enterprise Linux 6 - $basearch baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch #mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arc

centos下SVN搭建

1.安装SVNyum -y install subversion 2.代码库创建mkdir -p /alidisk/opt/svn/repo1svn admin create /alidisk/opt/svn/repo1 3.编辑配置文件cd /alidisk/opt/svn/repo1/confvi passwd 增加账号 test=123456vi authz [/] test=rwvi svnserve.conf auth-access=write password-db=passwd a

CentOS下快速搭建SVN并创建版本库

安装svn服务: yum -y install svn mkdir /home/svn 创建svn版本库: <project> 版本库项目名称 <username> 用户名 <password> 密码 以下代码为创建版本库并添加一个用户的脚本 cd ~ mkdir -p ./temp/trunk mkdir -p ./temp/branches mkdir -p ./temp/tags svnadmin create /home/svn/<project>

CentOS下vpn搭建

一.安装PPP和Iptables yum install -y ppp iptables 二.添加pptpd的源并安装 rpm -i http://poptop.sourceforge.net/yum/stable/rhel6/pptp-release-current.noarch.rpm yum install pptpd 三.配置pptpd 1.设置客户端可用IP 编辑/etc/pptpd.conf添加 localip 192.168.0.1 remoteip 192.168.0.11-11

centos下SVN搭建与使用

SVN作为新一代代码版本管理工具,有很多优点,管理方便,逻辑明确,安全性高,代码一致性高.SVN数据存储有两种方式,BDB(事务安全表类型)和FSFS(一种不需要数据库的存储系统),为了避免在服务器连接中断时锁住数据,FSFS是一种更安全也更多人使用的方式.SVN的运行方式也有两种,一种是独立服务器,另一种是借助apache服务,各有利弊,下面就介绍一下这两种方式各自的部署步骤. 1.作为独立服务器运行: ①安装svn,使用本地yum源安装,操作系统镜像里自带的就有,yum install sv