kafka没配置好,导致服务器重启之后,topic丢失,topic里面的消息也丢失

转,原文:https://blog.csdn.net/zfszhangyuan/article/details/53389916

------------------------------------------------

这个问题,在线上集群环境一般不容易出现,因为相关的日志文件参数都已经配置好了,而且经受住时间的的验证了。

作为新手,我在本地配置了一个单机kafka,用得是kafka自带的zookeeper服务。

kafka安装很简单如下:

1).下载kafka:

wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz
2) 解压:

tar -zxf kafka_2.10-0.10.1.0.tgz
3)启动zookeeper,kafka

> bin/zookeeper-server-start.sh config/zookeeper.properties &
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...

现在启动Kafka:
> bin/kafka-server-start.sh config/server.properties &
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...
备注:要挂到后台使用:

4)新建一个TOPIC
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

5)查看创建的topic list
> bin/kafka-topics.sh --list --zookeeper localhost:2181

6)查看topic详情
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

这个时候我们给topic添加一点数据:

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

重启电脑后 启动zookeeper kafka后发现topic没了

这里简略一点:有两个地方需要配置一下 第一个是zookeeper的数据目录 和日志目录(主要是数据目录),另外一个就是kafka本事的server.properties

1.配置zookeeper的把目录从tmp目录修改成自定义目录

2.kafka的日志目录重新配置不要放在tmp下面 ,另外设置一下数据 flush策略,保证数据已经flush到磁盘上

下面是flush策略的修改

本文对其他配置没有做过多介绍,只是把kafka数据落地的配置罗列了一下。

配置好,重启,问题解决。
————————————————
版权声明:本文为CSDN博主「zfszhangyuan」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/zfszhangyuan/article/details/53389916

原文地址:https://www.cnblogs.com/oxspirt/p/12051484.html

时间: 2024-10-06 11:26:53

kafka没配置好,导致服务器重启之后,topic丢失,topic里面的消息也丢失的相关文章

linux异常处理:selinux配置错误导致无法重启

点击返回自学Linux集锦 linux异常处理:selinux配置错误导致无法重启 一次linux无法重启异常记录: 当时第一反应就是梳理最近的配置变更,特别是能预知相关的就是selinux配置变更. 原来是误将SELINUXTYPE看成SELINUX后,将其值改为disabled.导致操作系统服务启动,无法进入单用户模式.变更回来之后,一切正常. 解决方法一: 系统启动的时候,按下'e'键进入grub编辑界面,编辑grub菜单,使用上下键选择"kernel " 一行,按'e'键进入编

EDAC DIMM CE Error错误导致服务器重启

现象: 最近几天一个华为RH2285服务器一直不定时自动重启,基本每天一两次,查看系统日志报下面的错误,每秒记录一条错误日志 OS:OEL 6.5 $ more /var/log/message Jul 21 08:54:32 customerkernel: EDAC MC1: 5486 CE error on CPU#1Channel#2_DIMM#1 (channel:2 slot:1page:0x0 offset:0x0 grain:8 syndrome:0x0) Jul 21 08:54

04_Weblogic之受管服务器:配置受管服务器,启动受管服务器,解决因为强制关闭Weblogic之后导致启动有问题的问题,配置boot.properties

 配置受管服务器, 先启动WebLogic服务器,启动方式如下: 在WebLogic控制台中的"开发模式"---"锁定并编辑"模式下,点击"Server(服务器)"然后进行配置.(进入控制台的方式是在浏览器地址中输入:http://192.168.6.25:7001/console/login/LoginForm.jsp). 点击登录,然后进入登录页面. 3 开始配置,暂开"环境"----"服务器",进

Linux在fstab中因配置错误导致服务器主机无法重启的问题应该如何解决

fstab中配置错误导致系统无法启动的恢复方案 1制造错误的案例发生,在/etc/fstab中配置如下内容 结尾的倒数第一个为1表示进行磁盘检查,为0表示不进行磁盘检查,倒数第二个为0表示不备份,为1表示进行备份,一般除了/boot 和 / 使用磁盘检查,其余的都不使用磁盘检查.备份自己去备份,没必要让系统去帮你备份. 重启服务器主机,在启动过程中就会报错 2处理错误 上面的错误提示我们给出root密码或者使用Ctrl+D继续,但是Ctrl+D还是会重启,所以我们给出root密码进行处理. 给出

Flink生产数据到Kafka频繁出现事务失效导致任务重启

在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE,kafka使用的版本为1.1.0,flink的版本为1.8.0,但是会很经常因为提交事务引起错误,甚至导致任务重启 kafka producer的配置如下 def getKafkaProducer(kafkaAddr: String, targetTopicName: String, kafkaProducersPoolSize: Int): FlinkKafkaProducer[String] = { val prop

Linux服务器重启后crs_stat -t 命令无法正常使用以及解决思路

前提:在Linux系统中安装ASM,安装完ASM和Oracle数据库时都是正常使用的,但在重启服务器后Oracle相关命令不识别. 1. [[email protected]:/home/grid]$crsctl status res -t -bash: crsctl: command not found 2.查看环境变量是否正常,命令如下: [[email protected]:/home/grid]$env |grep gri USER=grid ORACLE_BASE=/oracle/ap

或许因为缺少默认route配置而导致的的ping超慢,甚至timeout

内网有台dell r620 做测试用: 4个网口都插了 网线,通过小交换直接连在中心路由的第3个口上: 安装了kvm,有virbr0   :但还没装其它的虚拟机. ping 外网域名 ,IP地址 都超慢: 近乎1分钟返回一次: 尝试: /etc/sysconfig/network-scripts 目录下新件了 文件 route-eth0 添加内容 via 192.168.1.1 重启网络:service network restart 然后ping www.baidu.com 参考地址: htt

Debian配置为VPN服务器

源码下载地址: http://rpmfind.net/linux/rpm2html/search.php?query=pptpd 备注:最近51cto不知怎么了,上传图片有问题,下面配置就不上图了. 今天接到一个任务,就是将一台Debian配置为VPN服务器.以前配置过windows server下的VPN服务,linux下的还真没有配置过,顺便也就练练手.其实也不是很难,安装网上一些资料坐下来就可以了. 第一步.检查环境做VPN的Debian需要把PPP和TUN启用 运行一下命令来检查ppp和

图文:CentOS 下对 Nginx + Tomcat 配置 SSL 实现服务器 / 客户端双向认证

1. 安装 nginx 1.1 nginx 包及其依赖包下载 出于模块的依赖性,Nginx 依赖以下三个包: gzip 模块需要 zlib 库(http://www.zlib.net/): rewrite 模块需要 pcre 库(http://www.pcre.org/): ssl 功能需要 openssl 库(http://www.openssl.org/): 分别下载它们的最新稳定版(截至本文最新稳定版分别是 zlib-1.2.8.tar.gz.pcre-8.36.tar.gz.openss