crontab 定时 hive2Mysql4sqoop

当我们手动执行脚本没有问题时，我们认为万事OK了 。其实不然放入crontab之后缺少各种东西。

我的业务是 使用hive中原始表当数据源，创建一个临时表，将数据原的数据清洗一遍放入临时表，再使用sqoop将临时表的数据导入到Mysql中。

首先我的hive表是orc文件压缩格式，sqoop无法直接读取，所以在清洗时顺便换了文件格式。一部分表是与hbase关联表，所以需要将hbase/lib中的 hbase相关的jar 和htrace相关的ja包复制到hive/lib中，将hbase-site.xml 中的 zookeeper 配置复制到hive-site.xml中，这样保证操作与hbase关联表时不会出错。

其次就时在crontab 执行时需要配置一些环境变量，可以临时添加，

export HADOOP_MAPRED_HOME=$HADOOP_HOME。

这样 sqoop就可以正常工作，可能会包一些其他的环境变量找到不到，可以忽略，已经不影响sqoop的执行了，看着不爽，就在sqoop/bin/configure-sqoop中把 相关的注释掉。

时间： 2025-01-17 14:31:37

crontab 定时 hive2Mysql4sqoop的相关文章

基于PHP的crontab定时任务管理

BY JENNER · 2014年11月10日· 阅读次数:6 linux的crontab一直是服务器运维.业务开展的利器.但当定时任务增多时,管理和迁移都变得很麻烦,而且容易出问题.下面提供了一个使用php编写的crontab管理器,但仍需要在crontab下添加一个一分钟执行一次的叫来来运行这个管理器.通过这个管理器,可以实现以下目的: 分布式定时任务集中化管理 多条crontab记录合并 crontab记录持久化存储(配置文件或数据库) 这里不建议你使用数据库进行crontab配置管理,除

linux crontab定时执行

#利用crontab定时执行url研究了两种简单方式#一利用lynx访问url yum install lynxservice crond startcrontab -einsert键* * * * * lynx -dump http://192.168.0.10/gas_station_erp/index.php/socket/SendDev/getDevInfoesc :wqservice crond restart #* * * * * 表示每分钟执行一次 #二调用sh脚本 service

Linux下使用crontab定时备份日志

上周学习了Linux,其中有使用crontab定时备份日志的内容,现把主要步骤记录如下: 首先需要备份的日志的源目录位于/opt/lampp/logs/access_log 备份到/tmp/logs下 备份文件加上时间戳date +%Y%m%d%H%M%S 以上是备份说明,下面分三步操作 一.shell脚本 [[email protected] lampp]# vi test.sh    #创建shell脚本 #!/bin/bash                                

crontab定时执行任务

第一部分 crontab介绍 每个操作系统都有它的自动定时启动程序的功能,Windows有它的任务计划,而Linux对应的功能是crontab. crontab简介 crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令.该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行.该词来源于希腊语 chronos(χρ?νος),原意是时间. 通常,crontab储存的指令被守护进程激活, crond常常在后台运行,每一分钟检查是否有预

linux下使用crontab定时备份MYSQL数据库的方法:

摘要 只需按照下面3步做,一切都在你的掌控之下: 第一步:在服务器上配置备份目录代码: -------------------------------------------------------------------------------- mkdir /var/lib/mysqlbackup cd /var/lib/mysqlbackup --------------------------------------------------------------------------

使用crontab定时备份MYSQL数据库的方法

第一步:在服务器上配置备份目录代码: -------------------------------------------------------------------------------- mkdir /var/lib/mysqlbackup cd /var/lib/mysqlbackup -------------------------------------------------------------------------------- 第二步:编写备份脚本代码: ----

crontab定时执行c二进制文件问题

当c源文件编译成功后, 比如AUTOBATCH 直接输入AUTOBATCH就可以执行了,但是写入crontab定时任务中时,就执行不了了,因为crontab是不识别环境变量的,因此 需要把环境变量写入一个sh脚本文件中,然后把AUTOBATCH执行条件也写入该sh中 我写的是AUTOBATCH.sh 内容如下: #! /bin/bash ############################# .  ~/.bash_profile .   /etc/profile ##############

Linux下的crontab定时执行任务命令详解

Linux下的crontab定时执行任务命令详解 在LINUX中,周期执行的任务一般由cron这个守护进程来处理[ps -ef|grep cron].cron读取一个或多个配置文件,这些配置文件中包含了命令行及其调用时间.cron的配置文件称为"crontab",是"cron table"的简写. 一.cron服务 cron是一个linux下 的定时执行工具,可以在无需人工干预的情况下运行作业. service crond start    //启动服务 servi

使用crontab定时备份Mysql整个数据库的方法

1.在服务器上配置备份目录 mkdir /data/mysqlbackup 2.编写备份脚本代码 vi dbbackup.sh 粘帖以下代码,务必更改其中的username,password和dbname. 这里以备份整个数据库为例 代码: #!/bin/sh mysqldump -uuser -ppassword --single-transaction --events --triggers --routines --all-databases | gzip > /data/mysqlbac