Flume配置|shell脚本|python|SQL

Flume是一种高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。

可以看一下模型:

每一个flume代理(agent)可以提供一项flume服务。每一个代理有三个成员:source、channel、sink

如上图所示,由source获取数据并发送给channel,channel就好比一个缓冲区,由sink来从channel里读取数据。

----------------------------------------------

暂时没有图写个思路先:

模型1:多source---1channel---1sink

模型2:单source---多channel---多sink

-----------------------------------------------

一个JVM环境仅仅只能运行一个agent

but..如果在同一台机器上起多个JVM环境则可以运行多个agent一样的道理。

应用场景的话多数据源接入且要汇入到同一类型sink且地址相同的不同路径下(好吧我语法比较差不知道这句话怎么描述,后续补图)

关于多JVM环境运行的话需要更深入的了解FLUME的配置..后续有时间了解一下。

==========================

关于FLUME的源码,在flume官网上可以下载它的源码包,用哪里读哪里,对配置和使用的帮助很大。

=============================================

关于shell脚本:

if[[ $? -ne 0 ]]

$? :指的是上一条脚本执行的返回结果,如上一条脚本是一条基本的ls -l命令,如果成功查询,当然返回就是0了,可如果出错,返回值不为0。

如果要修改某一文件中的某一个字段,或者某一行或某几行,sed指令会帮上你大忙。

如果要获取路径:那么pwd、dirname这些都是你的好帮手。

脚本里可以将你想要的到的结果直接赋值给变量,好像这样:

hadoop_path=`hadoop fs -ls /path1/path2/path3/path4`

注意这里的``可是数字1左边的键呦。

得到这个path了以后我就可以判断这个path是不是存在了呀呀呀。

活学活用活记。脚本可以干很多事。

====================================

SQL,如果别人写了一条非常长非常长非常绕的SQL命令。

不要觉得看不懂,看不懂放到数据库跑一把,就懂了。不要死死的一行一行盯着看,看半天也不会看出来的。浪费时间。

慢慢写。

时间: 2024-08-03 03:15:34

Flume配置|shell脚本|python|SQL的相关文章

基于sparksql调用shell脚本运行SQL

[Author]: kwu 基于sparksql调用shell脚本运行SQL,sparksql提供了类似hive中的 -e  , -f ,-i的选项 1.定时调用脚本 #!/bin/sh # upload logs to hdfs yesterday=`date --date='1 days ago' +%Y%m%d` /opt/modules/spark/bin/spark-sql -i /opt/bin/spark_opt/init.sql --master spark://10.130.2

UltraEdit 配置shell脚本高亮显示

1. 从ue官方网站下载wordfile扩展文件包:http://www.ultraedit.com/files/wf/wf.zip 2. 打开UltraEdit,点击菜单“高级”-“配置”,打开配置对话框.点击“编辑器显示”----“语法高亮”,找到文档的完整目录名称,打开该目录. 3. 将wf.zip解压缩,找到unixshell.uew文件,复制到步骤2打开的目录里. 4. 重启UltraEdit即可. 适用于UltraEdit版本 21.10.0.1032

Linux/Unix shell 脚本中调用SQL,RMAN脚本

Linux/Unix shell脚本中调用或执行SQL,RMAN 等为自动化作业以及多次反复执行提供了极大的便利,因此通过Linux/Unix shell来完成Oracle的相关工作,也是DBA必不可少的技能之一.本文针对Linux/Unix shell脚本调用sql, rman 脚本给出了相关示例. 一.由shell脚本调用sql,rman脚本 [python] view plain copy print? 1.shell脚本调用sql脚本 #首先编辑sql文件 [email protecte

Linux/Unix shell 脚本监控磁盘可用空间

Linux下监控磁盘的空闲空间的shell脚本,对于系统管理员或DBA来说,必不可少.下面是给出的一个监控磁盘空间空间shell脚本的样本,供大家参考. 1.监控磁盘的空闲空间shell脚本 [python] view plain copy print? [email protected]:~/dba_scripts/custom/bin> more ck_fs_space.sh #!/bin/bash # --------------------------------------------

CentOS6.7下使用非root用户(普通用户)编译安装与配置mysql数据库并使用shell脚本定时任务方式实现mysql数据库服务随机自动启动

CentOS6.7下使用非root用户(普通用户)编译安装与配置mysql数据库并使用shell脚本定时任务方式实现mysql数据库服务随机自动启动1.关于mysql?MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司.MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性.特点: Mysql是开源的,所以你不需要支付额外的费用.Mysql支持大型的数据库.可以处理拥有上千

linux crontab定时任务运行shell脚本(shell执行sql文件)

今天做个linux定时任务(每晚12点把表汇总). 顺便写个博客记录一下~~ 为什么用linux定时任务,而不是在项目加定时任务呢?原因就是防止因为各种原因项目崩溃..所以就用了更加稳定的linux定时任务(我是这么想的( ^_^ )). 起初我感觉很简单,以为顶多半小时就搞定了,,,结果从10点弄到12点半才搞定(主要是我英语太渣和数据库报错导致)... ︿( ̄︶ ̄)︿废话到此结束--------------- crontab 格式     * * * * *      XXX 分    时

在shell脚本中调用sql语句

查询员工信息 -S:静默登录 [[email protected] shells]$ cat shell1.sh #!/bin/bash #查询员工信息 sqlplus -S /nolog <<EOF conn scott/scott set feedback off set linesize 300 set pagesize 100 col empno for 99999 col ename for a12 col mgr for 9999 col hiredate for a20 col

Linux—编写shell脚本操作数据库执行sql

修改数据库数据 ??在升级应用时,我们常常会遇到升级数据库的问题,这就涉及到sql脚本的编写. ??一般我们会通过写sql脚本,然后将xxx.sql脚本放到数据库中进行source xxx.sql执行.本篇文章,我们可以通过写shell脚本来执行数据库操作. 配置文件 创建 test_sql.properties 作为shell脚本的外部配置参数修改: [[email protected] sql_sh]$ vim test_sql.properties # set parameters sta

【转载】MySQL被慢sql hang住了,用shell脚本快速清除不断增长的慢sql的办法

原文地址:MySQL被慢sql hang住了,用shell脚本快速清除不断增长的慢sql的办法 作者:mchdba 某个初级dba误删index,mysql漫山遍野全是10S以上的慢sql,mysql服务被hang住了,而且慢sql不断在增加中,如果手动在mysql界面kill的话,根本来不及,这个时候,shell就必须要出手了,如下的shell脚本,大家可以参考: #It is used to kill processlist of mysql sleep #!/bin/sh while :