metaq入门部署到实战

初识metaq

zookeeper部署,这里单机zk为例。

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.6.tar.gz
tar -zxvf zookeeper-3.4.6.tar.gz
cd  zookeeper-3.4.6
mkdir data
cp conf/zoo_sample.cfg  conf/zoo.cfg

改动zk的配置文件。将data路径dataDir的值设置为zookeeper-3.4.6下的data

hadoop@yard02:~/bigdata/zookeeper-3.4.6$ cat conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/hadoop/bigdata/zookeeper-3.4.6/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

metaq部署

这里使用单机多实例測试

wget http://fnil.net/downloads/metaq-server-1.4.6.2.tar.gz
tar -zxvf metaq-server-1.4.6.2.tar.gz
cd  taobao/
cp -rf  metamorphosis-server-wrapper ../metaq9123
cp -rf  metamorphosis-server-wrapper ../metaq9124
cp -rf  metamorphosis-server-wrapper ../metaq9125

单机多实例须要解决port冲突的问题

1。改动JMXport,改动服务port,改动dashboardWebport,zk地址

我这里保持metaq9123默认,改动metaq9124。metaq9125

vim metaq9124/conf/server.ini

serverPort=8124
dashboardHttpPort=8121
zk.zkConnect=192.168.137.2:2181

vim metaq9124/bin/env.sh

export JMX_PORT=9124

metaq9125相同,改动成不被占用的接口即可了 启动:

bin/metaServer.sh start

停止

bin/metaServer.sh stop

状态

bin/metaServer.sh status

zk上节点

摘自http://udukwilliam.iteye.com/blog/1931852

1) /consumers:存放消费者列表以及消费记录。消费者列表主要是以组的方式存在。结构主要例如以下:

       /consumers/xxGroup/ids/xxConsumerId:DATA(“:”后的DATA表示节点xxConsumerId相应的数据) 组内消费者Id;DATA为订阅主题列表。以”,”分隔
       /consumers/xxGroup/offsets/xxTopic/分区N:DATA  组内主题分区N的消费进度。DATA为topic下分区N详细进度值
       /consumers/xxGroup/owners/xxTopic/分区N:DATA 组内主题分区N的的消费者。DATA为消费者ID,表示XXTopic下分区N的数据由指定的消费者进行消费

2) /brokers/ids:存放Broker列表,假设Broker与Zookeeper失去连接,则会自己主动注销在/brokers/ids下的broker记录。样例例如以下:

    /brokers/ids/xxBroker

3) /brokers/topics-pub:存放公布的主题列表以及相应的可发送消息的Broker列表,样例例如以下:

    /brokers/topics-pub/xxTopic/xxBroker
    /brokers/topics-pub下记录的是可发送消息到xxTopic的Broker列表,意味着有多少个Broker同意存储Client发送到Topic数据

4) /brokers/topics-sub:存放订阅的主题列表以及相应可订阅的Broker列表。样例例如以下:

    /brokers/topics-sub/xxTopic/xxBroker
    /brokers/topics-sub下记录的可订阅xxTopic的Broker列表,意味着有多少个Broker同意被Client订阅topic的数据

这里使用sohu-zookeeper-view来看了下节点信息。当中meta-example是group

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbHV5ZWUyMDEw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" >

WEB DASHBOARD

时间: 2024-11-04 00:20:42

metaq入门部署到实战的相关文章

Spark从入门到上手实战

Spark从入门到上手实战 课程学习地址:http://www.xuetuwuyou.com/course/186 课程出自学途无忧网:http://www.xuetuwuyou.com 讲师:轩宇老师 课程简介: Spark属于新起的基于内存处理海量数据的框架,由于其快速被众公司所青睐.Spark 生态栈框架,非常的强大,可以对数据进行批处理.流式处理.SQL 交互式处理及机器学习和Graphx 图像计算.目前绝大数公司都使用,主要在于 Spark SQL 结构化数据的处理,非常的快速,高性能

Spark视频教程|Spark从入门到上手实战

Spark从入门到上手实战网盘地址:https://pan.baidu.com/s/1uLUPAwsw8y7Ha1qWGjNx7A 密码:m8l2备用地址(腾讯微云):https://share.weiyun.com/55RRnmc 密码:8qywnp 课程是2017年录制,还比较新,还是有学习的价值的 课程简介:Spark属于新起的基于内存处理海量数据的框架,由于其快速被众公司所青睐.Spark 生态栈框架,非常的强大,可以对数据进行批处理.流式处理.SQL 交互式处理及机器学习和Graphx

微服务SpringCloud+Docker入门到高级实战

第一章 课程介绍和学习路线 1.微服务架构SpringCloud课程介绍简介:课程介绍和课程大纲讲解,讲课风格和重点内容理解技巧2.技术选型和学后水平简介:课程所需基础和技术选型讲解,学完课程可以到达怎样的程度, 第二章 架构演进和分布式系统基础知识 1.传统架构演进到分布式架构简介:讲解单机应用和分布式应用架构演进基础知识 (画图)2.微服务核心基础讲解简介:讲解微服务核心知识 :网关.服务发现注册.配置中心.链路追踪.负载均衡器.熔断3.常见的微服务框架简介:讲解常用的微服务框架4.微服务下

2019刘老师教你用springboot2.x开发整合微信支付的线上教育平台带源码送springboot2.x零基础入门到高级实战教程

第一部分:springboot2.x零基础入门到高级实战教程一.零基础快速入门SpringBoot2.0 1.SpringBoot2.x课程全套介绍和高手系列知识点 简介:介绍SpringBoot2.x课程大纲章节 java基础,jdk环境,maven基础 2.SpringBoot2.x依赖环境和版本新特性说明 简介:讲解新版本依赖环境和springboot2新特性概述 3.快速创建SpringBoot2.x应用之手工创建web应用 简介:使用Maven手工创建SpringBoot2.x应用 4

第十二节 VMware View 6.0 菜鸟入门 部署和安装RDS服务器

第十二节 VMware View 6.0 菜鸟入门 部署和安装RDS服务器

跟风舞烟学大数据可视化-Echarts从入门到上手实战

跟风舞烟学大数据可视化-Echarts从入门到上手实战 课程观看地址:http://www.xuetuwuyou.com/course/180 课程出自学途无忧网:http://www.xuetuwuyou.com 课程讲师:风舞烟 课时数:三个模块,共70课时   一.课程特色: 1.最全的Echarts课程讲解     70学时课时量,360度全方位,无死角的课程设计,让你通透Echarts可视化技术 2.最适合小白学员学习的课程,没有之一     只要你了解一点基本的Html,CSS,Ja

Systemd 入门教程:实战篇

Systemd 入门教程:实战篇 上一篇文章,介绍了 Systemd 的主要命令,这篇文章主要介绍如何使用 Systemd 来管理我们的服务,以及各项的含义: 一.开机启动 对于那些支持 Systemd 的软件,安装的时候,会自动在/usr/lib/systemd/system目录添加一个配置文件,如果你想让该软件开机启动,就执行下面的命令(以httpd.service为例). $ sudo systemctl enable httpd 上面的命令相当于在/etc/systemd/system目

Linux 命令详解(八)Systemd 入门教程:实战篇

Systemd 入门教程:实战篇 http://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-part-two.html

Java 入门课程视频实战-0基础 上线了,猜拳游戏,ATM实战,欢迎围观

Java 入门课程视频实战-0基础 已经上传完了.欢迎小伙伴们过来围观 直接进入: http://edu.csdn.net/course/detail/196 课程文件夹例如以下: 1 初识Java  19:08 2 熟悉Eclipse开发工具  12:42 3 Java语言基础  17:39 4 流程控制  14:53 5 数组  14:44 6 字符串  34:32 7 类和对象  29:30 8 猜拳游戏  33:39 9 模拟银行柜员机程序  36:35 10 退休金结算程序  本课程由