最好用的 Kafka Json Logger Java客户端,赶紧尝试一下

最好用的 Kafka Json Logger Java客户端。

slf4j4json

最好用的 Kafka Json Logger 库;不尝试一下可惜了!

Description

一款为 Kafka 提供的 json logger 客户端,支持将 json 格式的 log 输出到 kafka、文件、控制台。

支持 slf4j 的全部功能。

比 KafkaLog4jAppender 更好用,可配置性更好。

支持 close logger, 在程序关闭之前 flush log to kafka。

支持链式编程模式,方便用户使用。

maven dependency

  1. 添加repository
<repositories>
    <repositories>
         <repository>
             <id>release</id>
             <url>https://raw.github.com/joyang1/slf4j4json/mvn-repo/</url>
             <snapshots>
                 <enabled>true</enabled>
                 <updatePolicy>always</updatePolicy>
             </snapshots>
         </repository>
     </repositories>
</repositories>
  1. 添加dependency
<dependency>
    <groupId>cn.tommyyang</groupId>
    <artifactId>slf4j4json</artifactId>
    <version>1.4.0</version>
</dependency>

使用

需要配置log4j.properties

因为该 jar 包同样是依赖于 slf4j, 所以按 log4j 配置 log4j.properties 即可正常使用。
log4j.properties 的详细配置说明请参考log4j 配置说明

log4j.rootLogger=DEBUG,console

#输出日志到控制台
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Threshold=all
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-dd HH\:mm\:ss} [%c\:%L]-[%p] %m%n

slf4j4json使用

  1. 直接打印
    跟 slf4j 类似,不过该库提供链式编程方式,便于用户使用。

//通过LoggerFactory获取一个logger
final static Logger logger = LoggerFactory.getLogger(Test.class);

//打印必须调用log()方法
logger.info().field("key1", "value1").intField("key2", 1).log();
logger.warn().field("key1", "value1").intField("key2", 1).log();
logger.debug().strField("key1", "value1").longField("key2", 1L).log();
logger.trace().strField("key1", "value1").intField("key2", 1).log();
logger.error().strField("key1", "value1").intField("key2", 1).log();
  1. 比如有一些键值对要重复赋值,使用getLogger方法,实例如下

JsonLogger jsonLogger = logger.info().strField("appname", "app").getLogger();
jsonLogger.strField("msg","infotest1").intField("port", 2).log();
jsonLogger.field("msg","infotest2").longField("long", 23L).log();
  1. 1.4.0更新, 只提供getLogger方法

配置了 LogConfig 则打印 log 到 kafka,否则打印 log 到 file;
如果打印 log 到 file 文件或者控制台,则需要配置 log4j.properties,具体如何配置见使用;
如果只用打印 log 到 kafka,则不用配置 log4j.properties。


LogConfig conf = new LogConfig("Vinci", LogLevel.INFO, "localhost:9092", "admin-app-log");
LoggerFactory.openKafkaLogger(conf);

Logger logger  = LoggerFactory.getLogger();

logger.info().strField("test", "test-info").log();
logger.error().strField("test", "test-error").log();
logger.warn().strField("test", "test-warn").log();
logger.debug().strField("test", "test-debug").log();

输出


{"key1":"value1","key2":1,"index":"server-end-log","host":"DESKTOP-2B1VG6J","level":"info","time":1535021174}

version

  • 1.0版本

    • 实现 JsonLog For Java 的基本功能
    • 使用 KafkaLog4jAppender 打印 log 到 Kafka
  • 1.1版本
    • 修复JsonLogger jsonLogger = logger.info().strField("appname", "app").getLogger(); 出现重复内容的bug
  • 1.2版本
    • 去掉log中自带的index键值对
    • repository修改
      
      <repositories>
          <repository>
              <id>release</id>
              <url>https://raw.github.com/joyang1/slf4j4json/mvn-repo/</url>
              <snapshots>
                  <enabled>true</enabled>
                  <updatePolicy>always</updatePolicy>
              </snapshots>
          </repository>
      </repositories>
      
  • 1.3.0版本
    • 添加kafka logger的实现,批量打印log到kafka
    • 10s或者5m flush一次
  • 1.4.0版本
    • 优化logger实现

欢迎 fork 和 star

Github地址:slf4j4json

原文地址:https://www.cnblogs.com/joyang/p/11839238.html

时间: 2024-10-01 07:45:11

最好用的 Kafka Json Logger Java客户端,赶紧尝试一下的相关文章

4 kafka集群部署及生产者java客户端编程 + kafka消费者java客户端编程

本博文的主要内容有   kafka的单机模式部署 kafka的分布式模式部署 生产者java客户端编程 消费者java客户端编程 运行kafka ,需要依赖 zookeeper,你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper. 单机模式,用的是kafka自带的zookeeper, 分布式模式,用的是外部安装的zookeeper,即公共的zookeeper. Step 6: Setting up a multi-broker cluster So far w

java客户端作为kafka的consumer报错org.I0Itec.zkclient.exception.ZkTimeoutException

出错现象: java客户端编程作为kafka的消费端,连接kafka的broker报错 出错原因分析: 当服务器配置或者网络环境较差时,会出现连接zk超时的情况出现; 解决方法:将程序中的timeout数值调大 props.put("zookeeper.session.timeout.ms", "15000");

Kafka JAVA客户端代码示例--高级应用

什么时间使用高级应用? 针对一个消息读取多次 在一个process中,仅仅处理一个topic中的一组partitions 使用事务,确保每个消息只被处理一次 使用高级应用(调用较底层函数)的缺点? SimpleConsumer需要做很多额外的工作(在以groups方式进行消息处理时不需要) 在应用程序中跟踪上次消息处理的offset 确定一个topic partition的lead broker 手工处理broker leander的改变 使用底层函数(SimpleConsumer)开发的步骤

java kafka单列模式生产者客户端

1.所需要的依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/

报错:java.lang.AbstractMethodError: nl.techop.kafka.KafkaHttpMetricsReporter.logger()Lcom/typesafe/scalalogging/Logger;

报错背景: CDH启动kafka的时候出现报错情况,并且报错的节点挂掉. 报错现象: Exiting Kafka due to fatal exception java.lang.AbstractMethodError: nl.techop.kafka.KafkaHttpMetricsReporter.logger()Lcom/typesafe/scalalogging/Logger; at kafka.utils.Logging$class.info(Logging.scala:66) at

kafka 2.12在linux下的安装部署及java客户端对接

一.下载kafka_2.12-2.4.0.tgz并解压至/home/kafka_2.12-2.4.0 二.配置kafka 2.1 创建kafka日志文件夹:/home/kafka_2.12-2.4.0/logs 2.2 创建zookeeper数据目录:/tmp/zookeeper 2.3 配置/home/kafka_2.12-2.4.0/config/server.properties   内容如下(SSL证书在下面介绍): ssl.keystore.location=/home/ca/serv

java客户端向单机版kafka发送消息没有接收到

kafka版本:kafka_2.11-0.10.0.0 在kafka服务器命令发送消息,消费者可以接受到, 但是在java客户端向kafka发送消息时消费者接受不到, 在kafka/config/sever.properties把这个注解打开 advertised.listeners=PLAINTEXT://ip.137:9092        #本机服务器ip 意思就是说:hostname.port都会广播给producer.consumer.如果你没有配置了这个属性的话,则使用listene

kafka的Java客户端示例代码(kafka_2.12-0.10.2.1)

使用0.9开始增加的KafkaProducer和KafkaConsumer. Pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o

kafka的Java客户端示例代码(kafka_2.11-0.8.2.2)

使用Producer,ConsumerConnector HelloWorldProducer.java package cn.ljh.kafka.kafka_helloworld; import java.util.Date; import java.util.Properties; import java.util.Random; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; impor