Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

一、Hive的简单使用

    基本的命令和MySQL的命令差不多

    首先在 /opt/datas 下创建数据  students.txt

    1001  zhangsan

    1002  lisi

    1003  wangwu

    

           显示有多少数据库:      show databases;

       使用某个数据库:        use  数据库名称;

       显示当前数据库下的表:   show tables;

       创建数据表  :  create table student (id int,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;

       显示表的结构 : desc student;

           从外部导入数据: load data local inpath ‘/opt/datas/students.txt‘ into table student;

   

二、   安装Mysql

将Mysql安装包上传到服务器上,然后解压压缩包,使用命令:unzip mysql-libs.zip

   

查看系统是否自带Mysql,将系统上的MySQL卸载

   

   然后首先安装Mysql-Server   其中有个重要的目录要查看  里面记录着Mysql的随机密码

   

   

   mysql的随机密码为:MIgbmURIlR0Uskh9

   

   然后安装Mysql客户端: rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

   

   启动Mysql服务命令:service mysql start  

   

    登录到Mysql上,然后修改密码:   set password=password(‘123456‘);

   

   

   

   OK,退出Mysql之后在重新登录一下,登录成功!

三、Hive配置metastore

   首先进入到Hive的安装目录中  /opt/moudles/hive-.....

   创建一个文件   hive-site.xml  想里面配置连接Mysql的数据信息  账号 密码  连接地址 、驱动(这个驱动需要拷贝过来)

    

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop-senior.zuoyan.com:3306/metastore?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        <description>password to use against metastore database</description>
    </property>

    <property>
      <name>hive.cli.print.header</name>
      <value>true</value>
      <description>Whether to print the names of the columns in query output.</description>
    </property>


    <property>
      <name>hive.cli.print.current.db</name>
      <value>true</value>
      <description>Whether to include the current database in the Hive prompt.</description>
    </property>


</configuration>

拷贝连接数据库的驱动:

   cp mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib/

  配置好后执行一下 bin/hive   在mysql数据库中可以看见  hive给自动创建的数据库

  查看一下这个数据库中的表

  

这个就是Hive的元数据所创建的

四、Hive的基本使用

    

# 查看 所有的数据库 show databases ;# 创建数据库
create database db_hive ;# 创建一张数据表
create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;# 显示当前数据库下的所有数据表
show tables ;# 查看表的结构
desc student ;# 更详细的查看表的结构
desc extended student ;# 也是详细的查看表的结构(格式化  推荐)
desc formatted student ;
#  使用某个数据库
use db_hive ;#  将本地的数据导入到数据库中
load data local inpath ‘/opt/datas/students.txt‘into table db_hive.student ;
#  查看Hive中支持的命令
show functions ;# 显示某个功能的用法
desc function upper ;# 对这个功能的使用来一个Demo
desc function extended upper ;# 测试这个函数
select id ,upper(name) uname from db_hive.student ;

五、配置Hive的日志

  将Hive安装目录中conf下的  hive-log4j.properties.template    重命名

          

  日志默认存放的位置是   系统中的/tmp/${User}/hive.log

  

  故意查询错误一下,然后查看日志

  

修改Hive日志的存放地址,(在Hive的安装目录中创建logs文件夹用来存放日志,然后配置 hive-log4j.properties 中的  hive.log.dir

     hive.log.threshold=ALL
     hive.root.logger=INFO,DRFA
     hive.log.dir=/opt/modules/hive-0.13.1/logs
     hive.log.file=hive.log

  设置启动打印日志

   bin/hive --hiveconf hive.root.logger=INFO,console

   如果以这种方式启动的话,Hive会直接将日志打印在控制台上

      

   

原文地址:https://www.cnblogs.com/kangxinxin/p/9769371.html

时间: 2024-10-29 19:07:13

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》的相关文章

Amazon EC2安装mysql多实例并配置主从复制

1.MySQL安装: EC2直接使用yum安装mysql非常方便: yum install mysql mysql-server mysql-libs 此处安装了三个包 完事之后能够直接使用 service mysqld start 启动mysql服务 改动root密码: mysqladmin -u root -p password "root" 2.使用mysqld_multi安装多实例mysql: vim /etc/my.cnf 加入实例的配置信息 [mysqld] datadir

cmake安装mysql及多实例配置方法

一.安装mysql 1. 生产环境如何选择MySQL版本 1. 选择社区版的稳定GA版本2. 可以选择5.1或5.5.互联网公司主流5.5, 其次是5.1和5.63. 选择发布后6个月以上的GA版4. 要选择前后几个月没有打的BUG修复的版本,而不是大量修复BUG的几种版本5. 最好选择向后较长时间没有更新发布的版本6. 考虑开发人员开发程序使用的版本是否兼容你选的版本7. 企业非核心业务采用新版本的数据库GA版本软件8. 作为内部开发测试数据库环境,跑大概3-6个月时间9. 向DBA高手请教,

ubuntu安装mysql的步骤和配置总结

因为经常要在ubuntu linux的环境下做一些开发工作.很多时候也牵涉到mysql相关的开发工作.于是就把整个过程做了一个整理,以方便以后再次安装配置的时候参考,也希望能够让新手少走点弯路. 其实当时要做的事情主要也就是以下几件,首先要在ubuntu的机器上装一个mysql server,然后需要配置特定的帐号和权限来执行一些sql脚本,创建一个包含有完整数据的环境.现在开始: 1. 安装 如果我们在没有安装mysql的ubuntu系统中输入如下的命令:mysql, 系统会给出如下的提示:

Linux(Centos 7) 安装 Mysql 5.7 步骤 配置过程

一.检查是否已经安装了mysql [[email protected] /]# rpm -qa | grep -i mysql 如果有,则使用删除语句删除 [[email protected] /]# yum -y remove mariadb-libs-5.5.56-2.el7.x86_64 再使用查询命令,查找mysql相关的文件 [[email protected] /]# find / -name mysql 然后把存在的文件都删除 [[email protected] /]# rm –

CentOS 6.5最小化编译安装mysql 5.5.35配置多实例

1.关闭防火墙 [[email protected] ~]# service iptables stop iptables: Setting chains to policy ACCEPT: filter          [  OK  ] iptables: Flushing firewall rules:                         [  OK  ] iptables: Unloading modules:                               [ 

yum安装MySQL及集群配置

在CentOS7中默认安装有MariaDB,这个是MySQL的分支,但为了需要,还是要在系统中安装MySQL,而且安装完成之后可以直接覆盖掉MariaDB.1 下载并安装MySQL官方的 Yum Repositorywget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm使用上面的命令就直接下载了安装用的Yum Repository,大概25KB的样子,然后就可以直接yum安装了.yum -y

通过ansible安装mysql,apache,php,并实现rsyslog日志记录于MySQL中

环境: 192.168.205.7: as ansible host 192.168.205.37: as mariadb server 192.168.205.27: as web server and rsyslog client 版本: OS: centos 7 1810 with mini install ansible: 2.8.1 mariadb-10.2.25-linux-x86_64.tar.gz apr-1.7.0.tar.bz2 apr-util-1.6.1.tar.bz2

安装mysql后的基本配置

1.添加环境变量 右键 此电脑->属性->高级系统设置->环境变量,在系统变量里面找到Path,双击.点击编辑,将mysql中bin文件的路径添加到最后一行,如:F:\AppSev\AppServ\MySQL\bin,并保存. 2.my.ini的修改在my.ini 中找到 [mysqld] port=3306 //如果你不想用3306端口,可以更改 basedir="F:\AppSev\AppServ/MySQL"     //你的mysql安装的路径 datadir

阿里云Ubuntu服务器下安装MySQL数据服务器,配置java环境、tomcat服务器

作为一个即将毕业的学生来说是很穷的,但是又想体验一下自己做出来的成果. 最近阿里云推出了学生优惠9块9就可以买一个月的阿里云服务器,不过需要的是在读学生,所以只能用半年了.废话不多说了.要是免费多好的. 购买服务器等自己可以详细查看阿里云的细则.在这里我介绍的是Ubuntu server,windows下都是傻瓜是安装不用介绍的. 1.MySQL的安装 在基于Linux内核的Ubuntu有自己自带的软件安装包命令.我查询了很多资料,基本的命令都是 sudo apt-get install 软件的

安装mysql 8 及 修复登录错误日志

安装教程    https://www.cnblogs.com/xuqp/p/9172254.html 无法用navicat登录的解决方法 ALTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE NEVER; #修改加密规则  ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password'; #更新一下用户的密码