(转)go语言nsq源码解读二 nsqlookupd、nsqd与nsqadmin

转自:http://www.baiyuxiong.com/?p=886
-----------------------------------------------------------------------

上一篇go语言nsq源码解读-基本介绍  介绍了最基本的nsq环境搭建及使用。在最后使用时,我们用到了几个命令:nsqlookupd、nsqd、nsqadmin、curl及 nsq_to_file,并看到用curl命令写入的几个”hello world”被nsq_to_file命令保存在了硬盘文件中。本节中,将讲述这几个命令的作用、用法。

nsqlookupd

官方文档解释见:http://bitly.github.io/nsq/components/nsqlookupd.html

用官方话来讲是:nsqlookupd管理拓扑信息,客户端根据特定的topic查询nsqlookupd来发现nsqd生产者及nsqd广播topic和channel信息。比较难懂,所以接下来,用通俗的话来解释。

首先讲点别的东西,用过linux的同学可能会发现,linux下很多应用,比如apache、mysql、ftp等它们的服务名称都是在d结尾的。如:

apache ->  httpd

mysql -> mysqld

vsftp -> vsftpd

最后的结尾d是Daemon的意思,守护进程,这种进程不会因为终端窗口关闭就停止执行。比如apache,执行 service httpd start后,apache就启动了, 终端关掉后,apache仍然在后台运行。

好了,现在你会发现,我们的nsqlookupd和nsqd也是在d结尾的,这就暗示他们可能是守护进程,而事实上也确实是这样。

nsqlookupd就是类似apache一样的一个后台服务,它可以理解为整个nsq系统的神经中枢,启动以后,它默认会同时监听两个端口,在 4160端口,建立一个tcp server,用于和nsqd进行数据沟通。在4161上呢,会建立一个http server,用于和nsqadmin进行数据交互。

nsqd

官方文档地址:http://bitly.github.io/nsq/components/nsqd.html

用官方话解释为:nsqd接收、队列、发送消息到客户端。

上一讲中,执行的第二个命令:nsqd –lookupd-tcp-address=127.0.0.1:4160

表示启动一个nsqd 服务,同时告诉这个服务,nsqlookupd的地址在127.0.0.1:4160。4160端口,也就是nsqlookupd监听的tcp erver的地址。有了这个地址后,nsqd就可以和nsqlookupd地建立连接,然后做数据交互。同时呢,nsqd自己会默认监听4151端口,接 收以http方式发送来的消息数据。

nsqadmin

官方文档见:http://bitly.github.io/nsq/components/nsqadmin.html

提供一个浏览器可访问的web页面,用于实时查看集群状态和执行一些管理操作。

上一讲中,第三个命令:nsqadmin –lookupd-http-address=127.0.0.1:4161

表示启动nsqadmin,同时告诉这个服务,nsqlookupd监听的http地址在127.0.0.1:4161,这样,nsqadmin也 会和nsqlookupd建立连接,进行数据交互。而nsqadmin 本身会监听4171端口,提供一个web服务,供浏览器访问,查看数据。所以在上一讲,最后我们通过访问http://127.0.0.1:4171/查 看统计数据。

curl

这个应该都很熟悉的命令,它可以发起网络请求到指定的URL。可以参考网址:

http://blog.51yip.com/linux/1049.html

上一讲中:

curl -d “hello world 1″ “http://127.0.0.1:4151/put?topic=test”

表示向网址http://127.0.0.1:4151/put?topic=test发起POST请求,参数为hello world 1,这4151端口,刚好是nsqd监听的端口,也就是说nsqd可以接口网络发来的信息,并放入队列保存起来,供消息的“消费者”来取出数据并处理。所 以前面介绍nsqd的时候提到“nsqd接收、队列、发送消息到客户端。”。

nsq_to_file

这是nsq提供一个简单的消息“消费者”,他把某个指定“topic”下的数据存在指定的文件中。

上一讲的命令:

nsq_to_file –topic=test –output-dir=F:\tmp –lookupd-http-address=127.0.0.1:4161

表示把指定的话题test下的数据,放在目录F:\tmp下面。所以可以看到文件中保存了三个hello world,因为我们向topic=test的URL curl了三次hello world.

同时大家可能会注意到,nsq_to_file指定的最后一个参数,lookupd-http-address的4161端口是nsqlookupd的地址,不是nsqd的,而我们curl发消息是发到nsqd的4151端口了,这是什么原因呢?

源码我也没读完,呵呵,所以呢,目前猜测是因为nsqlookupd维护着所有nsqd的状态。知道nsqlookupd的地址后,就可以问nsqlookupd要所有的nsqd的信息了。

补充一个图:

时间: 2024-10-12 00:01:20

(转)go语言nsq源码解读二 nsqlookupd、nsqd与nsqadmin的相关文章

nsq源码阅读笔记之nsqd(二)——Topic

与Topic相关的代码主要位于nsqd/nsqd.go, nsqd/topic.go中. Topic的获取 Topic通过GetTopic函数获取 GetTopic函数用于获取topic对象,首先先尝试从topicMap表中获取,如果指定的topic存在,则直接返回topic对象. 当topic不存在时需要新建一个topic,加入到topicMap中, 如果启用了nsqlookupd则需要从lookupd中获取该topic的所有channel,在去除#ephemeral结尾的临时channel后

tars framework 源码解读(二) libservant部分源码的简介

还是直接用官方原图解说 服务端:可以理解成对外公开的接口 被调用时候响应流程 的底层封装 (响应端) NetThread: 收发包,连接管理,多线程(可配置),采用epoll ET触发实现,支持tcp/udp: BindAdapter: 绑定端口类,用于管理Servant对应的绑定端口的信息操作: ServantHandle:业务线程类,根据对象名分派Servant的对象和接口调用: AdminServant: 管理端口的对象: ServantImp: 继承Servant的业务处理基类(Serv

nsq源码阅读笔记之nsqd(四)——Channel

与Channel相关的代码主要位于nsqd/channel.go, nsqd/nsqd.go中. Channel与Topic的关系 Channel是消费者订阅特定Topic的一种抽象.对于发往Topic的消息,nsqd向该Topic下的所有Channel投递消息,而同一个Channel只投递一次,Channel下如果存在多个消费者,则随机选择一个消费者做投递.这种投递方式可以被用作消费者负载均衡. Channel从属于特定Topic,可以认为是Topic的下一级.在同一个Topic之下可以有零个

nsq源码阅读笔记之nsqd(一)——nsqd的配置解析和初始化

配置解析 nsqd的主函数位于apps/nsqd.go中的main函数 首先main函数调用nsqFlagset和Parse进行命令行参数集初始化, 然后判断version参数是否存在,若存在,则打印版本号并退出程序 接下来钩住系统的syscall.SIGINT和syscall.SIGTERM消息,用来阻塞主goroutine防止退出 随后判断config参数是否存在,若存在的话还需进行配置文件的读取, nsq使用toml格式的配置文件,并通过github.com/BurntSushi/toml

nsq源码阅读笔记之nsqd(三)——diskQueue

diskQueue是backendQueue接口的一个实现.backendQueue的作用是在实现在内存go channel缓冲区满的情况下对消息的处理的对象. 除了diskQueue外还有dummyBackendQueue实现了backendQueue接口. 对于临时(#ephemeral结尾)Topic/Channel,在创建时会使用dummyBackendQueue初始化backend, dummyBackendQueue只是为了统一临时和非临时Topic/Channel而写的,它只是实现

YYModel 源码解读(二)之NSObject+YYModel.h (1)

本篇文章主要介绍 _YYModelPropertyMeta 前边的内容 首先先解释一下前边的辅助函数和枚举变量,在写一个功能的时候,这些辅助的东西可能不是一开始就能想出来的,应该是在后续的编码过程中 逐步添加的. #define force_inline __inline__ __attribute__((always_inline)) 这行代码用到了C语言的内联函数 内联函数: 是用inline修饰的函数,内联函数在代码层次看和普通的函数结构一样,却不具备函数的性质,内联函数不是在调用时发生控

swoft| 源码解读系列二: 启动阶段, swoft 都干了些啥?

date: 2018-8-01 14:22:17title: swoft| 源码解读系列二: 启动阶段, swoft 都干了些啥?description: 阅读 sowft 框架源码, 了解 sowft 启动阶段的那些事儿 小伙伴刚接触 swoft 的时候会感觉 压力有点大, 更直观的说法是 难. 开发组是不赞成 难 这个说法的, swoft 的代码都是 php 实现的, 而 php 又是 世界上最好的语言, swoft 的代码阅读起来是很轻松的. 之后开发组会用 系列源码 解读文章, 深入解析

QCustomplot使用分享(二) 源码解读

一.头文件概述 从这篇文章开始,我们将正式的进入到QCustomPlot的实践学习中来,首先我们先来学习下QCustomPlot的类图,如果下载了QCustomPlot源码的同学可以自己去QCustomPlot的目录下documentation/qcustomplot下寻找一个名字叫做index.html的文件,将其在浏览器中打开,也是可以找到这个库的类图.如图1所示,是组成一个QCustomPlot类图的可能组成形式. 一个图表(QCustomPlot):包含一个或者多个图层.一个或多个ite

Spark学习之路 (十六)SparkCore的源码解读(二)spark-submit提交脚本

讨论QQ:1586558083 目录 一.概述 二.源码解读 2.2 find-spark-home 2.3 spark-class 2.4 SparkSubmit 正文 回到顶部 一.概述 上一篇主要是介绍了spark启动的一些脚本,这篇主要分析一下Spark源码中提交任务脚本的处理逻辑,从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图: 回到顶部 二.源码解读 2.1 spark-submit # -z是检查后面变量是否为空(空则真) shell可以