flume-ng 集群搭脚本

#!/bin/bash

# author： xirong
# date  :  2015-02-06 

#####  搭建 flume 集群的脚本
#    注意：
#   1. 需要 jdk7 环境，如果没有 Java 环境，请配置
#   2. 有 /home/work 目录，否则无法安装
#
####

# 压缩文件解压
tar -zxf apache-flume-1.5.2-bin.tar.gz -C /home/work/flume_cluster/

# 配置flume环境
echo ‘## flume configuration ‘ >> /etc/profile
echo ‘export FLUME_HOME=/home/work/flume_cluster/apache-flume-1.5.2-bin‘ >> /etc/profile
echo ‘export PATH=.:$PATH::$FLUME_HOME/bin‘ >> /etc/profile

source /etc/profile

# 添加Java 环境变量
\cp -f $FLUME_HOME/conf/flume-env.sh.template $FLUME_HOME/conf/flume-env.sh
echo ‘JAVA_HOME=/opt/jdk1.7.0_75/‘ >> $FLUME_HOME/conf/flume-env.sh

echo ‘confgratulations! fluem has been installed and flume-env.sh has been set!‘

# 测试是否成功
flume-ng version

## Flume 1.5.2
## Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
## Revision: 229442aa6835ee0faa17e3034bcab42754c460f5
## Compiled by hshreedharan on Wed Nov 12 12:51:22 PST 2014
## From source with checksum 837f81bd1e304a65fcaf8e5f692b3f18

时间： 2024-08-05 15:25:22

flume-ng 集群搭脚本的相关文章

sparkR集群启动脚本的封装。

[Author]: kwu sparkR默认是以单机方式运行的.实现sparkR的集群启动,需要指定master地址,占用内存.CPU,及UI端口等,这对分析人员来说是比较麻烦的. 如何实现对其启动的封装,方便分析人员来使用: 创建启动的脚本文件 vi bdcmagicR 输入以下内容 #!/bin/bash function rand(){ min=$1 max=$(($2-$min+1)) num=$(($RANDOM+1000000000)) #增加一个10位的数再求余 echo $(($

第二十八天：高可用负载均衡集群搭建

小Q: 一直努力着,努力着,偶尔停下来歇歇,又要振作精神,继续努力着, 努力着,实现我的愿望:不敢奢望. 前面我们用heartbeat配置了高可用集群,用Lvs配置了负载均衡集群:而现在我们可以将两者的功能合二为一,用前面介绍高可用的时候讲到了另一个开源软件keepalived和LVS的ipvsadm合作完成: 一.简介: keepalived是一个类似于layer3, 4 & 7交换机制的软件,也就是我们平时说的第3层.第4层和第7层交换.作用是检测web服务器的状态,如果有一台web服务器工

MHA 故障库恢复到集群 python脚本

#!/usr/bin/env python#! _*_ coding:utf-8 _*_ import os,re,time #注请把故障库启动后再执行此脚本 #1.获取mha日志中change语句stmt = os.popen("ssh exsddb3 'cat /var/log/masterha/app1/app1.log'|grep 'All other slaves'|grep \"`date +%d|cut -d'0' -f2` \"|cut -d':' -f4|

菜单形式部署redis 集群的脚本

为减轻Linux运维工作中重复执行的工作量,降低出错概率:同时保证脚本能应用在不同的场合以及其灵活性,特地编写此脚本,仅供参考! ?#!/bin/bash ##Author: fanfubin#QQ: 502422514#Date: 2019-03-19#FileName: redis.sh#Description: The deploy redis script#Copyright (C): 2019 All rights reserved#source /etc/init.d/functio

pg_dumpall - 抽出一个 PostgreSQL 数据库集群到脚本文件中

SYNOPSIS pg_dumpall [ option...] DESCRIPTION 描述 pg_dumpall 是一个用于写出("转储")一个数据库集群里的所有 PostgreSQL 数据库到一个脚本文件的工具. 该脚本文件包含可以用于作为 psql(1) 的输入恢复数据库的SQL命令. 它通过对数据库集群里的每个数据库调用 pg_dump(1) 实现这个功能. pg_dumpall 还转储出所有数据库公用的全局对象. (pg_dump(1) 并不保存这些对象.) 这些信息目前包

第二十七天：HA 高可用集群搭建

小Q:凡事都要看得远一点,再远一点,当你迈出第一步,心中必须装着第三步, 第二步才能作为你的筹码,没有筹码的人生, 注定会生存在别人的股掌之中. 今天学了一个特别好的知识,我发现我最近的进度慢,情有可原,一整天就只是看两三个知识点,但是每个知识点我都会研究好长时间,虽然我知道过后我会忘,但大概我再复习的时候,原理我不会忘,第一遍的目的达到了: 简介 HA(High Available), 高可用性集群,又被叫做双机热备(Active/Passive),用于关键性业务;是保证业务连续性的有效解

Flume 3集群如何采集信息呢？

master做为集合节点 $FLUME_HOME/conf/agent1.conf agent1.channels = ch1 agent1.sources = avro-source1 agent1.sinks = log-sink1 agent1.channels.ch1.type=memoryagent1.channels.ch1.capacity = 100000 agent1.channels.ch1.transactionCapacity = 100 agent1.channels.

xsync集群分发脚本

脚本: #! /bin/bash #1获取输入参数的个数,如果没有参数直接退出 pcount=$# if((pcount==0));then echo no args; exit; fi #2 获取文件名称 p1=$1 fname='basename $p1' echo fname=$fname #3 获取上级目录到绝对路径 pdir='cd -p $(dirname $p1);pwd' echo pdir=$pdir #4 获取当前用户的名称 user='whoami' #5循环 for((h

集群监控脚本

######################################################################### # File Name: monitor.sh # Author: wugj # mail: [email protected] # Created Time: 2015年11月16日星期一 15时14分19秒 #####################################################################