flume服务的搭建

搭建前先统一时间,关闭防火墙,使用的jar包版本是1.6.0的

服务配置有两种方式

第一种:具体步骤如下:

1.将jar包传至node1上,解压至根目录

2.更改目录名,使用如下命令:mv apache-flume-1.6.0-bin /home/install/flume-1.6

3.进入flume-1.6目录后,vi test1,创建test1文件,打开

https://flume.apache.org/FlumeUserGuide.html链接,复制关于source、channel和sink的那一段代码

  将其中的localhost改为node1

4.运行flume

5.打开node2,输入命令:telnet node1 44444

任意字符如hello,看node1有没有收到hello字符

Ctrl+】,quit退出,Ctrl+c终止

第二种方式:具体步骤如下:

1.先启动zookeeper服务:zkServer.sh start,再启动dfs:start-dfs.sh

2.vi test2

具体代码:

[root@node1 flume-1.6]# vi test2

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type =spooldir
a1.sources.r1.spoolDir=/opt/flume

# Describe the sink
a1.sinks.k1.type =avro
a1.sinks.k1.hostname=node2
a1.sinks.k1.port=55555

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 1000

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在node2(相当于服务器)上

具体代码:
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type =avro
a1.sources.r1.bind=node2
a1.sources.r1.port=55555

# Describe the sink
a1.sinks.k1.type =hdfs
a1.sinks.k1.hdfs.path=hdfs://xiaotian/flume/%Y-%m-%d/
a1.sinks.k1.hdfs.filePrefix=%H%M
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.rollInterval=60
a1.sinks.k1.hdfs.idleTimeout=1
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.round=true
a1.sinks.k1.hdfs.roundValue=1
a1.sinks.k1.hdfs.roundUnit=minute
a1.sinks.k1.hdfs.useLocalTimeStamp=true

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 1000

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
~

3.进入flume-1.6里的conf目录

  mv flume-env.sh.template flume-env.sh

vi flume-env.sh

添加一句话:JAVA_OPTS="-Xms100m -Xmx300m"

4.新建一个/opt/flume目录,然后再启动flume,启动时先启动node2(改变source的),再启动node1

bin/flume-ng agent --conf conf --conf-file test2 --name a1 -Dflume.root.logger=INFO,console

启动node1后可先在node上查看进程,看是否启动成功:netstat -ntpl

时间: 2024-10-06 07:23:20

flume服务的搭建的相关文章

NFS服务的搭建与RPC协议

NFS(Network File System)的缩写,意为网络文件系统.其功能主要是通过网络在不同的主机之间共享目录或者文件.NFS客户端通过挂载将NFS服务器端共享的数据目录挂载到本地系统.由于NFS支持的功能很多,不同的功能会启动不同的端口来传输数据,由于端口的不固定会造成NFS客户端与NFS服务器端的通信障碍,为了解决这个问题就出现了RPC(Remote Procedure Call)服务.RPC即远程调用协议 相当于NFS客户端与NFS服务器端数据传输的桥梁. 本文通过NFS服务在两台

NTP服务的搭建

NTP服务的搭建 1.     准备环境 服务器系统为redhat 6.4 两块网卡eth0(连接外网),eth1(连接内网ip:192.168.1.1). 现在搭建一台时间同步服务器,服务器和公网的NTP Server 时间同步,然后负责同步局域网的时间 2.     安装NTP软件包 yum install ntp –y 3.     编辑配置文件/etc/ntp.conf (1)NTP服务的主要配置文件是/etc/ntp.conf.其中已经有了一些默认设置.如下图所示: 含义注释: res

<Apache服务的搭建"三件套"《目录验证》《虚拟主机》《加密证书》>

自己没事会整理一些小知识,复习原来的同时也帮助新手. vvvvvvvvvvvvv开启apache目录验证vvvvvvvvvvvvvv htpasswd -cm uers redhat  //redhat用户是虚拟的用户uers为生成加密用户的密码文件 # htpasswd -cm uers redhat  //第二次这样输入它会把第一次的输入覆盖掉 [[email protected] httpd]# cat uers redhat:$apr1$8X/YcAoY$xlwRboAtWudU26kr

yum仓库服务端搭建、客户端使用

yum源工作原理:实质是更换下载地址 ********  yum仓库服务端搭建  ******** 系统环境 服务端:10.0.0.61 [[email protected] ~]# cat /etc/redhat-release CentOS release 6.8 (Final) [[email protected] ~]# uname -r 2.6.32-642.el6.x86_64 1.安装createrepo软件: yum -y install createrepo 2.创建yum仓库

《NFS文件共享服务的搭建》RHEL

首先要清楚一点:NFS服务的共享是建立在linux和linux之间的. 配置任何服务之前我们要做的2件事: iptables  -F setenforce 0    NFS服务内核防火墙影响不大,主要还是iptables 服务端: 安装nfs服务软件包: 启动nfs服务 下面说一个NFS服务起不来的解决方法,这个错误还是比较常见的. 报错:RPC.....问题,这个是因为我把rpc给关了: 把rpc打开重启下服务: 服务端共享出去/mnt对所有的主机(以只读的方式) 客户端 终端为白色 首先要识

Web Service学习之服务端搭建与客户端调用

?工作中用到了Web Service,但是对这块不是很熟悉,决定花时间学习一下,现在记录一下最基本的入门知识点. 使用Java搭建Web Service服务端,使用Python脚本调用接口. 一.Web Service服务端 1.在Eclipse中新建一个Java工程,新建test.TestWebService类 package test; import javax.jws.WebService; import javax.xml.ws.Endpoint; @WebService public 

基于CentOS6.5进行IPA服务的搭建——客户端配置

前面介绍了IPA服务端的配置,IPA服务可以为Linux系统提供用户的集中化管理服务.下面我们看一下客户端的具体配置. 操作步骤: (1)在另外一台主机上安装CentOS6.5操作系统,作为IPA客户端主机 (2)配置客户端网络参数(配置完成后重启系统) [[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:F4:B0:3A TYPE=Ethernet UU

ubuntu 16.04 nfs服务的搭建

nfs服务是实现Linux和Linux之间的文件共享,nfs服务的搭建比较简单. 现在介绍如何在ubuntu16.04系统中搭建nfs服务,ubuntu的搭建比红帽的还要简单. 1.安装nfs服务 sudo apt install nfs-common 2.修改配置文件 sudo vim /etc/exports 修改内容如下: /home *(rw,sync,no_root_squash) 各段表达的意思如下,根据实际进行修改 /home :共享的目录 * :指定哪些用户可以访问 * 所有可以

Red Hat 6.5 nfs服务的搭建

nfs服务是实现Linux和Linux之间的文件共享,nfs服务的搭建比较简单. 现在介绍如何在红帽6.5系统中搭建nfs服务. 1.关闭selinux服务 如果已经关闭该服务的可以直接跳过该步骤. 临时关闭 只对当前有效,电脑重启之后,该服务又会重新启动,所以一般选择永久关闭. setenforce 0 永久关闭 打开selinux的配置文件 vim /etc/sysconfig/selinux 将SELINUX修改为disabled 重启电脑 reboot 2.安装nfs服务 yum ins