hive调度脚步p_fact_bi_browser_t_job.sh

#!/bin/bash

###################################
# code review [email protected] 20170504
# System Name : 大数据智慧分析平台
# Author : heguoxiu
# Description : 浏览器使用情况
##################################

#引用公共变量配置文件
source /parse/opt/shell/public/public_time.cfg

#赋值hive目标表到变量
v_name="fact_bi_browser_t"

echo "###开始计算${v_name}: `date +"%Y-%m-%d %H:%M:%S"`"

sudo -u hive hive -hivevar year=${year} -hivevar month=${month} -hivevar day=${day} -hivevar v_fm_tm=${v_fm_tm} -hivevar v_to_tm=${v_to_tm} -f "${parse_path}/p_${v_name}.sql" &&

echo "###计算结束${v_name}: `date +"%Y-%m-%d %H:%M:%S"`"

sh "${export_path}"/export_${v_name}_job.sh &

原文地址:https://www.cnblogs.com/heguoxiu/p/10120627.html

时间: 2024-10-01 20:44:08

hive调度脚步p_fact_bi_browser_t_job.sh的相关文章

hive分析脚步p_fact_bi_browser_t.sql

set hive.cli.print.header=true;set mapred.max.split.size=256000000;set mapred.min.split.size.per.node=256000000;set mapred.min.split.size.per.rack=256000000;set hive.exec.reducers.max=200;set hive.exec.reducers.bytes.per.reducer=1000000000;set hive.e

Hive入门到剖析(一)

1 Hive简介 1.1 Hive定义 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能. 本质是将SQL转换为MapReduce程序. 1.2 为什么使用Hive 1.面临的问题 人员学习成本太高 项目周期要求太短 我只是需要一个简单的环境 MapReduce  如何搞定 复杂查询好难 Join如何实现 2.为什么要使用Hive 操作接口采用类SQL语法,提供快速开发的能力 避免了去写MapReduce,减少开发人员的学习成本 扩展

Spark脚步文件作用说明

见明知意的文件名,还用我来介绍??可以说我闲的蛋疼,反正我已经做了记录了,哈哈 sbin目录下的脚本文件 slaves.sh               在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个shell命令 spark-config.sh         被其他所有的spark脚本所包含,里面有一些spark的目录结构信息 spark-daemon.sh 将一条spark命令变成一个守护进程 spark-daemons.sh        在所有定义在${S

HADOOP docker(四):安装hive

1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结 getting start: https://cwiki.apache.org/confluence/display/Hive/GettingStarted hive wiki: htt

hive的安装

1.hive下载 http://apache.opencas.org/hive/stable/apache-hive-1.2.1-bin.tar.gz (安装hive时,保证hadoop已在本机正常运行着) 3.部署步骤 vim /etc/profile export HIVE_HOME=/home/richmail/hive export PATH=$HIVE_HOME/bin:$PATH tar pache-hive-1.2.1-bin.tar.gz ln -sf pache-hive-1.

HIVE 0.14.0安装

本文原文出处: http://blog.csdn.net/bluishglc/article/details/41652111 严禁任何形式的转载,否则将委托CSDN官方维护权益! 0. 前置条件    1. 集群已经安装好Hadoop    2. 本次安装使用/usr/local作为安装目录    3. 专门为HIVE建立用户和用户组:hive:hive1.安装 从官网下载apache-hive-0.14.0-bin.tar.gz以及apache-hive-0.14.0-src.tar.gz,

hadoop三----基于hadoop伪分布式整合hive和hbase

hadoop的生态圈: ETL 数据的抽取.转换.加载 1)安装hive 1.解压   # tar zvxf hive-0.13.0.tar.gz -C /usr/local   # cd /usr/local   # ln -sv  /usr/local/hive-0.12.0 /usr/local/hive 2.替换jar包,保持hbase0.98与hadoop1.2一致   # cd /usr/hive/lib   # rm -rf hbase-0.94*   # find /usr/hb

Hadoop Hive与Hbase整合+thrift

1.  简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示

关于hive的安装步骤

一.安装hive的过程 在安装hive之前首先安装mysql 1.查看mysql ,系统自带的      命令为 yum list |grep mysql 2.mysql-server的安装      命令为 yum install -y mysql-server mysql mysql-devel 3. 修改mysql的密码为123      命令为myaqladmin -u root password 123 4.登陆mysql     命令mysql -u root -p 5.赋予权限my