案例15:avro 负载均衡的方式动态获取文件中内容

需求: 将131上产生的日志文件负载均衡到 132 和133机器上

如图:

配置132 机器和133机器 (相同))

arov.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1
   
# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind =0.0.0.0
a1.sources.r1.port =41414
 
   
# Describe the sink
a1.sinks.k1.type = logger
   
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
   
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动132 和133 该flume进程命令注意一定要先启动不然在131访问的时候会说连接被拒绝

bin/flume-ng agent --name a1 --conf-file conf/avro.conf --conf conf/ -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=34343 &

配置131机器的flume

load_balance.conf

a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1
   
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/test.log
   
# Describe the sink 1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname=192.168.13.132
a1.sinks.k1.port=41414

# Describe the sink 2
a1.sinks.k2.type = avro
a1.sinks.k2.hostname=192.168.13.133
a1.sinks.k2.port=41414
   
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
   
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

启动命令

bin/flume-ng agent --name a1 --conf-file conf/load_balance.conf --conf conf/ -Dflume.root.logger=INFO,console &

测试:

在131机器上创建文件

执行命令查看132 和133机器上收到的信息.是否负载成功

echo ‘adddl‘ >> /opt/test.log

时间： 2024-11-13 06:56:24

案例15:avro 负载均衡的方式动态获取文件中内容的相关文章

案例17:avro 负载均衡加优先级

增加一下信息说明优先往哪台机器上写数据,如果优先级高的服务宕机了,会向优先级低的服务上写. a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/test.log # define sinkgroups a1.sinkgroups=g1 a1

前端能力模型-负载均衡各种方式

负载均衡有以下几种方式: 一.基于客户端方式: 每个客户程序都具有一定的服务器集群的知识,进而把以负载均衡的方式将请求发到不同的服务器.这种方式比较原始,现在一些老系统还在使用这种方式,客户端简单的使用轮询实现负载均衡.这种方式的可靠性,可维护性都很低,加重客户端开发的难度. 结构图如下: 二.基于DNS(DNS服务器) a. 根据客户端IP地域将域名解析到不同的真实服务器 b. 对同一区域的真实服务器,使用Round-Robin把域名轮流解析到不同的真实服务器 DNS做负载均衡简单方便,但DN

Nginx实现负载均衡的方式有哪几种呢？

什么是负载均衡当一台服务器的单位时间内的访问量越大时,服务器压力就越大,大到超过自身承受能力时,服务器就会崩溃.为了避免服务器崩溃,让用户有更好的体验,我们通过负载均衡的方式来分担服务器压力. 我们可以建立很多很多服务器,组成一个服务器集群,当用户访问网站时,先访问一个中间服务器,在让这个中间服务器在服务器集群中选择一个压力较小的服务器,然后将该访问请求引入该服务器.如此以来,用户的每次访问,都会保证服务器集群中的每个服务器压力趋于平衡,分担了服务器压力,避免了服务器崩溃的情况. 负载均衡是用

nginx在varnish后端做负载均衡，后端tomca获取客户端真实IP

nginx在varnish后端做负载均衡,后端tomca获取客户端真实IP 1.设置nginx配置文件首先要确定nginx做负载均衡,在安装时把http_realip_module 安装上了. 查看方法: /usr/local/nginx/sbin/nginx -V 配置nginx.conf vim /usr/local/nginx/conf/nginx.conf 加入 set_real_ip_from 192.168.88.131; 重新加载nginx:

nginx做反向负载均衡，后端服务器获取真实客户端ip

开门见山,操作如下: 首先,在前端nginx上需要做如下配置: location / { proxy_pass http://test1; proxy_set_hearder host $host; proxy_set_header X-Real_IP $remoute_addr; proxy_set_header $proxy_add_x_forwarded_for; }; nginx会在把请求转向后台real-server前把http报头中的ip地址进行替换:这样操作完成后,real-ser

delphi 动态获取文件类型的图标

delphi 动态获取文件类型的图标.txt我不奢望什么,只希望你以后的女人一个不如一个.真怀念小时候啊,天热的时候我也可以像男人一样光膀子!在应用程序的编写中,组合框(ComboBox).列表框(ListBox).等常见的部件,通常不仅要用于显示文字,而且还要显示其与文字相关的图标.在一般的Windows应用程序中,这些图标的显示都要随列出的显示文本的变化而变化,例如在组合框中列出当前目录下的所有文件时,在组合框左边就显示与文件名相关联的图标,这就是所谓的动态图标.在 Delphi中使用动态图

结合Apache和Tomcat实现集群和负载均衡 JK 方式

本文基本参考自轻松实现Apache,Tomcat集群和负载均衡,经由实操经历记录而成,碰到些出入,以及个别地方依据个人的习惯,所以在一定程度上未能保持原文的完整性,还望原著者海涵. 因原文中有较多的贴图,如若各位读者一时不想亲自动手而直想看到配置效果,可查看原文. 一:软件环境 1. Apache: apache 2.0.55 (由http://httpd.apache.org/进入下载)(点击下载apache 2.0.55) 2. Tomcat: Tomcat 5.5.25 (由http:/

负载均衡常用方式

负载均衡建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽.增加吞吐量.加强网络数据处理能力.提高网络的灵活性和可用性. 一.HTTP重定向当用户发来请求的时候,Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url,然后浏览器再继续请求这个新url,实际上就是页面重定向.通过重定向,来达到"负载均衡"的目标.例如,我们在下载PHP源码包的时候,点击下载链接时,为了解决不同国家和地域下载速度的问题,它会返回一个离我们近的下载地址.

Web负载均衡实现方式(转)

Reference [1] https://www.cnblogs.com/eric-qin/p/7238278.html 负载均衡(Load Balance)是集群技术(Cluster)的一种应用.负载均衡可以将工作任务分摊到多个处理单元,从而提高并发处理能力.目前最常见的负载均衡应用是Web负载均衡.根据实现的原理不同,常见的web负载均衡技术包括:DNS轮询.IP负载均衡和CDN.其中IP负载均衡可以使用硬件设备或软件方式来实现. 什么是web负载均衡服务器集群(Cluster)使得多个