Hive -f 参数传递

  命令行模式,或者说目录模式,可以使用hive 执行命令。

选项说明:

  -e : 执行短命令

  -f :  执行文件(适合脚本封装)

  -S : 安静模式,不显示MR的运行过程

  -hivevar : 可以用来传参数

例子1:hive -e 查询

  命令: hive -S -e "use default; select * from kimbo_test limit 3;"

例子2:hive -f 执行文件

  命令: hive -S -f test_k.sql          -- 返回3条记录

例子3:hive -f 参数传递,执行文件

  命令: hive -hivevar v_date=‘20170630‘ -S -f test_par.sql    -- 返回3条记录

  命令: hive -hivevar v_date=‘20170101‘ -S -f test_par.sql    -- 返回0条记录

查看文件内容:

  cat test_par.sql

    use default; select * from kimbo_test where dt=‘${hivevar:v_date}‘ limit 3;

  cat test_k.sql 

    use default; select * from kimbo_test limit 3;

时间: 2024-10-10 06:39:42

Hive -f 参数传递的相关文章

hive\hadoop 常用命令

-1------ 后台跑程序语句: 在shell下输入: nohup hive -f  aaa.sql >bbb.log 2>&1 & 然后把sql 的脚本导入服务器上:Transfer-Zmodem upload List 相关命令:jobs:可以看到运行的任务,:cat bbb.log 可以看到这个任务运行情况 ====2================ 文件传输: 打印列名语句:set hive.cli.print.header=true; set hive.groupb

Hive - 常用命令

1. 创建表 创建表的语句: Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORT

Hive Python Streaming的原理及写法

在Hive中,需要实现Hive中的函数无法实现的功能时,就可以用Streaming来实现.其原理可以理解成:用HQL语句之外的语言,如Python.Shell来实现这些功能,同时配合HQL语句,以实现特殊的功能. 比如,我有一张不同网站访问的日志表,其中有两个列是url和ref,分别代表当前访问的网址和来源地址,我想要查看用户的来源,即看用户都是从那些网站跳到这些网站上去的,这里有些网站可能域名是二级甚至三级域名,但是这些实际上是属于其顶级域名的.所以要找出其顶级域名.这个在Hive的自定义函数

通过一个具体的实例来学习hive

----资源来自于官网教程 Simple Example Use Cases MovieLens User Ratings First, create a table with tab-delimited text file format: CREATE TABLE u_data ( userid INT, movieid INT, rating INT, unixtime STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED

Hive三种不同的数据导出的方式

转自:http://blog.chinaunix.net/uid-27177626-id-4653808.html Hive三种不同的数据导出的方式,根据导出的地方不一样,将这些方法分为三类:(1)导出到本地文件系统 (2)导出到HDFS (3)导出到hive的另一个表中 导出到本地文件系统 执行: hive> insert overwrite local directory '/root/student' > select * from student; 通过insert overwrite

Hive-1.2.0学习笔记(三)Hive用户接口

鲁春利的工作笔记,谁说程序员不能有文艺范? Hive对外提供了三种服务模式,即CLI(command line interface).Hive Web和Hive Client(如JavaApi方式). 1.Hive命令行模式(CLI) 启动Hive命令行模式有两种方式 bin/hive 或 bin/hive --service cli hive命令选项 [[email protected] hive1.2.0]$ bin/hive --help Usage ./hive <parameters>

hive导入导出数据案例

查询数据: use ods;set /user.password=ODS-SH;select * from base_cdma_all limit 10; use tag_bonc;select * from dpi_http_userapp_statistics limit 100000; #设置显示当前使用的数据库 set hive.cli.print.current.db=true; #设置不优先使用MapReduce set hive.exec.mode.local.auto=true;

Hive编程指南学习笔记(1)

hive一次使用命令: $ hive -e "select * from mytable limit 1;" OK name1 1 name2 2 Time taken: 3.935 seconds $ hive -e "select * from mytable limit 1;" > /tmp/myfile $ cat /tmp/myfile OK name1 1 name2 2 Time taken: 3.935 seconds 静默模式: $ hive

hive实践(hive0.12)

版本:cdh5.0.0+hadoop2.3.0+hive0.12 一.原始数据: 1. 本地数据 [[email protected] data]# ll total 12936 -rw-r--r--. 1 root root 13245467 May 1 17:08 hbase-data.csv [[email protected] data]# head -n 3 hbase-data.csv 1,1.52101,13.64,4.49,1.1,71.78,0.06,8.75,0,0,1 2,