Flume:构建高可用、可扩展的海量日志采集系统——互动出版网

这篇是计算机类的优质预售推荐>>>>《Flume:构建高可用、可扩展的海量日志采集系统》

编辑推荐

开发人员。

内容简介

本书从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置

组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume 框架的重中之重。之后,讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容,它们为Flume 提供灵活的扩展支持。最后,介绍了Flume
的高级使用,如何使用Flume 软件开发工具集(SDK)和Embedded Agent API,如何设计、部署和监控Flume 生产集群。

总而言之,本书是一本理论结合实战,深度、广度兼备的海量日志采集系统的著作。

作译者

马延辉,资深Hadoop技术专家,北京科技大学硕士,对Hadoop生态系统相关技术有深刻的理解,在Hadoop开发和运维方面积累了丰富的经验。曾就职于淘宝、Answers.com、暴风等互联网公司,从事Hadoop相关的研发和运维工作,对大数据技术的企业级落地、研发、运维和管理方面有着深刻理解和丰富的实战经验。开源HBase监控工具Ella作者。在国内Hadoop社区内非常活跃,经常在各种会议和沙龙上做技术分享,深受欢迎。现在致力于大数据技术在传统行业的落地,致力于大数据技术的普及和推广。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2025-01-06 01:46:40

Flume:构建高可用、可扩展的海量日志采集系统——互动出版网的相关文章

终于拿到《构建高可用Linux器(第三版)》样书了

从知道<构建高可用Linux器(第三版)>即将出版上市到拿到样书,确实等了不少天,终于拿到<构建高可用Linux器(第三版)>样书了,从酝酿出书的第一版到如今的第三版,五年心血,几终易稿,个中心酸只有自知,对自己也算是有个交待了.

使用Microsoft iSCSI Target Server构建高可用SMB3.0

关于Windows Server 2012 R2中故障转移群集功能,可参考前文所述.在Windows Server 2012 R2中故障转移群集中,可用的群集文件服务器主要有: 1. 适用于应用程序数据的横向扩展文件服务器(横向扩展文件服务器):该类群集文件服务器在 Windows Server 2012 中引入,能够让你存储文件共享上的服务器应用程序数据,例如 Hyper-V 虚拟机文件,并获取类似水平的可靠性.可用性.可管理性以及预期从存储区域网络中获得的高性能.所有文件共享均为在线状态,同

drbd与corosync/pacemaker 结合构建高可用mariadb服务

drbd与corosync/pacemaker 结合构建高可用mariadb drbd介绍: 高可用节点之间为了使切换节点时数据一致,不得不使用共享存储,共享存储一般只有两种选择:NAS 和 SAN.NAS是文件系统级别的共享,性能低下,访问也受限制,使用时有诸多不变:SAN块级别共享存储,但又太贵.当资金不足时,就可以考虑drbd. drbd是跨主机的块设备镜像系统,一主一从(两个主机只能有一个能进行写操作,slave主机只能接受master主机传过来的数据).drbd是工作于内核中的,工作时

生产环境下ftp的迁移并构建高可用

说明:这是1个小项目就两台DELL的服务器,和一台IP SAN存储(DELL MD3200i).原来是4台小服务器,而且服务器太老了,经常有问题,这回相当于一次ftp的迁移,以前用的是proftp,这次换成了vsftp.数据量有2.5T. 拓扑很简单: 系统:CENTOS 6.4(64bit) 高可用软件:corosync+pacemaker host:ftp1 192.168.1.190 ftp2  192.168.1.191 stonith(ipmi):ftp1 192.168.1.180

构建高可用的LVS负载均衡集群 入门篇

一.LVS简介 LVS是Linux Virtual Server的简称,也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目,它的官方站点是www.linuxvirtualserver.org.现在LVS已经是 Linux标准内核的一部分,在Linux2.4内核以前,使用LVS时必须要重新编译内核以支持LVS功能模块,但是从Linux2.4内核以后,已经完全内置了LVS的各个功能模块,无需给内核打任何补丁,可以直接使用LVS提供的各种功能. LVS 集群采用IP负载和基于内容请求分

构建高可用的LVS负载均衡集群 进阶篇

一.lvs组件介绍 lvs的组件由两部分组成:工作在内核空间的ipvs模块和工作在用户空间ipvsadm工具.其中ipvsadm是规则生成工具,而ipvs是一个使规则生效的工具. 二.ipvsadm详解 构建高可用的LVS负载均衡集群 进阶篇,布布扣,bubuko.com

构建高可用服务器之四 Keepalive冗余Nginx

实验目的: 使用Keepalive来保证Nginx的高可用,进而实现网站的高可用! 实验拓扑: 实验环境: 如上拓扑图所示,master与slave是mysql主从,且有discuz论坛,且已经做高可用.(可参加<构建高可用服务器之三Keepalive冗余Mysql>).现在是刚搭建两台Nginx,均已安装keepalive,IP地址分别为192.168.1.2和192.168.1.5(可参加<构建Nginx服务器之一安装及虚拟主机配置>和<构建高可用服务器之一Keepali

Flume 学习笔记之 Flume NG高可用集群搭建

Flume NG高可用集群搭建: 架构总图: 架构分配: 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf): #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 k2 #set gruop agent1.sinkgroups = g1 #

《构建高可用Linux服务器》第3版与第2版的区别

<构建高可用Linux服务器第3版>即将面市发行,有很多朋友在微博和QQ群上咨询与其第二版的区别,我这里也稍为说明下,<构建高可用Linux服务器>这次发行的是第3版,相对于第1版和第2版而言改动比较大,服务器系统主要以CentOS5.8 x86_64为主,删减了不少章节,部分有争议的内容也全部摈弃了.当然了,在写作过程中吸收了读者对上一版本的许多意见和建议,继续修正第2版的排版错误和人为错误及其它问题. 具体改动如下: 删除了原第二版第2章Linux服务器虚拟化章节,部分内容并进