Springboot kafka 集成过程中的问题

Q1:Failed to start bean ‘org.springframework.kafka.config.internalKafkaListenerEndpointRegistry‘

A1:是因为没有在注入时未对其进行配置导致,注册参照如下

/**
 * Created by wolf   2018/12/1
 */
@Configuration
@EnableKafka
public class kafkatemplateConfig {

    @Value("${spring.kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Bean
    public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String,String>> kafkaListenerContainerFactory(){
        ConcurrentKafkaListenerContainerFactory<String,String> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(3);
        factory.getContainerProperties().setPollTimeout(5000);
        return factory;
    }

    @Bean
    public ConsumerFactory<String,String> consumerFactory(){
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public Map<String,Object> consumerConfigs(){
        Map<String,Object> propsMap = new HashMap<>();
        propsMap.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,this.bootstrapServers);
        propsMap.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,false);//自行控制提交offset
        propsMap.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"100");//提交延迟毫秒数
        propsMap.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG,"15000");//执行超时时间
        propsMap.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        propsMap.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        propsMap.put(ConsumerConfig.GROUP_ID_CONFIG,"dsafas");
        propsMap.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"latest");//开始消费位置
        return propsMap;
    }

    @Bean
    public Consumer listener(){
        return new Consumer();
    }
}

Q2:a:Could not instantiate class org.springframework.kafka.support.serializer.JsonDeserializer

  b:org.springframework.kafka.support.serializer.JsonDeserializer with modifiers "protected"

  c:If the serializationyou can also enable trust all (*)   

A2:看下是因为要为监听者得到的对象 在进行序列化与反序列化 要进行设置在上述配置类中如下两列针对该问题

参考1    参考2

    propsMap.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    propsMap.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);

Q3:java.lang.IllegalArgumentException: Magic v1 does not support record headers

  A3:版本问题 我其实遇到时是用的 springboot.version: 2.1.0.RELEASE 部署的kafka组件版本为较新版kafka_2.11-2.1.0    与旧版kafka_2.12-0.10.2.1 最终将springboot.version换成1.5.10.RELEASE

 

  

原文地址:https://www.cnblogs.com/nhz-M/p/10048047.html

时间: 2024-10-08 14:58:50

Springboot kafka 集成过程中的问题的相关文章

SSH集成过程中遇到的问题及解决

1.出现了下面问题 页面显示为 1 Struts Problem Report 2 Struts has detected an unhandled exception: 3 4 Messages: could not initialize proxy - no Session 5 could not initialize proxy - no Session - Class: org.hibernate.proxy.AbstractLazyInitializer File: AbstractL

驰骋工作流引擎-CCMobile与安卓、IOS集成过程中的问题与解决方案

CCMobile与安卓.IOS集成过程中的问题与解决方案 前言: CCMobile(2019版本)是CCFlow&JFlow 的一款移动端审批的产品.系统基于mui框架开发,是一款可以兼容Android与IOS的移动端工作流审批系统.由于CCMobile仅仅局限于移动端的流程审批,所以在其他办公功能方面很少,这时可能就需要在源码上开发或者与其他APP进行集成. 由于Mui是一款h5的框架,并不是原生的,所以在与原生APP集成时,会出现一些问题,主要集中在附件上传下载.屏幕兼容等.本文章,将具体描

使用beanstalkd实现定制化持续集成过程中pipeline - 持续集成系列

持续集成是一种项目管理和流程模型,依赖于团队中各个角色的配合.各个角色的意识和配合不是一朝一夕能练就的,我们的工作只是提供一种方案和能力,这就是持续集成能力的服务化.而在做持续集成能力服务化的过程中,最核心的一点就是,如何实现一个可定制化的任务流,即所谓的pipeline. 在传统的持续集成工具实现了pipeline功能,以供串联上下游job,并把多个job联系成一次完整的构建,例如jenkins的pipeline插件. 但是各种持续集成工具,或多或少都有自己的短板,总结起来如下: 1.配置并不

springboot kafka集成(实现producer和consumer)

本文介绍如何在springboot项目中集成kafka收发message. 1.先解决依赖 springboot相关的依赖我们就不提了,和kafka相关的只依赖一个spring-kafka集成包 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.1.1.RELEASE<

springboot 整合jsp过程中的一些问题

出现一个奇葩的空指针异常 java.lang.NullPointerException: null at org.apache.catalina.authenticator.AuthenticatorBase.getJaspicProvider(AuthenticatorBase.java:1192) at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:465) at org.a

share SDK 集成过程中遇到的问题 新浪微博error:redirect_uri_mismatch的解决方法

暂时 也没有发现这个报错有什么后果 解决方法:到新浪微博注册应用的地方填上回调地址,然后将代码中的回调地址修改成和新浪微博开放平台里一样即可,见下图 完成后,删除测试机上的APP,Clean工程,然后重新编绎即可.

谈 Kylin1.6 streaming kafka cube build 成功过程中遇到的坑

坑太多    --写在片首语 看着Kylin官网(http://kylin.apache.org/docs16/tutorial/cube_streaming.html)里的轻描淡写,似乎只要一步步按着它的步骤来做,就可以很快跑通并得到期待的果子 .但,然并卵...这次的实践让我很清醒地了解到, 在开源的世界里,真的是版本太多,bug太多,坑太多... 如果仅仅是阅读了文档一百遍,而并未去实践,那么也许仅仅阅读理解水平会提高不少.为了走完这一遍操作,得到期待的结果,居然cost 10 days!

Springboot集成Thymeleaf中遇到的问题------不能返回页面,只返回字符串

springboot集成thymeleaf中遇到的问题: 不能返回页面,只返回字符串 原因:在controller中使用了注解@RestController 或者注解@ResponseBody 解决方法:用 @Controller 代替 @RestController: 不使用@ResponseBody注解. 原文地址:https://www.cnblogs.com/BenNiaoXianFei/p/12672384.html

Springboot Application 集成 OSGI 框架开发

内容来源:https://www.ibm.com/developerworks/cn/java/j-springboot-application-integrated-osgi-framework-development/index.html Springboot Application 集成 OSGI 框架开发 张 莹莹2018 年 4 月 02 日发布 WeiboGoogle+用电子邮件发送本页面 0 Java 类加载器 启动类加载器 (Bootstrap ClassLoader) 是 Ja