Druid Indexing 服务

索引服务由三个主要组件:一个是peon 组件,可以运行一个任务,一个是Middle Managers组件,管理peons,和一个overlord 组件管理任务分发给Middle Managers。 overlord  和Middle Managers 可以在一台服务器上,也可以在不同的服务器。而Middle Managers 和peons 一般在同一台服务器中。

Indexing Service 流程图

Overlord 服务

Overlord 节点负责接受任务,协调分配任务,创建任务创建锁,状态返回给调用者。Overlord 可以配置为运行在两种模式之一——本地或远程(本地默认)。在本地模式下Overlord 也负责创建peons 执行任务。当Overlord 在本地模式下运行,所有Middle Managers和peon配置必须提供。本地模式通常用于简单的工作流。在远程模式下,Overlord 和Middle Managers都运行在单独的进程,可以不同的服务器上运行。如果你打算使用单个indexing service作为所有Druid服务的索引,推荐这种模式。

提交任务和查询任务状态

提交任务,任务以json格式提交到overlord,请求方式为POST.返回提交任务的id taskid。

http://<OVERLORD_IP>:<port>/druid/indexer/v1/task
 
 

取消任务,请求方式为POST ,发送请求后会kill –9 这个任务。

http://<OVERLORD_IP>:<port>/druid/indexer/v1/task/{taskId}/shutdown

查看任务,请求方式为GET

http://<OVERLORD_IP>:<port>/druid/indexer/v1/task/{taskId}/segments

overlord 控制台

Overlord控制台可用于查看等待任务,运行任务,最近可用的任务,任务的创建和终止

http://<OVERLORD_IP>:<port>/console.html

Middle Managers

http://druid.io/docs/0.6.145/Middlemanager.html

Peons

See Peon.

Tasks

See Tasks.

Druid Indexing 服务

时间: 2024-08-10 02:09:40

Druid Indexing 服务的相关文章

互联网分布式微服务云平台规划分析--SSO单点登录系统

介绍 鸿鹄云架构[SSO单点登录系统]为所有微服务提供统一的用户认证服务,系统本身属于微服务模式,使用JWT+Redis分布式存储方案,确保不同微服务.系统之间的安全通讯和统一用户校验.认证.在整个服务平台中起着用户枢纽中心的作用. 平台基础功能 用户注册&登录.用户登录&校验(APP).用户登录&校验(PC).用户登出.用户密码修改.用户密码重置运行环境支持 开发工具:Eclipse.MyEclipse.Idea WEB容器:内置Tomcat JDK版本:1.8+ 系统支持:Wi

《Druid源码解析(1) Guice和Realtime流程》——图较精简,不错

https://zqhxuyuan.github.io/ 最近两年更新少 任何忧伤,都抵不过世界的美丽 2015-12-08 Druid源码解析(1) Guice和Realtime流程 Source druid Druid is a fast column-oriented distributed data store. http://druid.io/ 当启动Druid的服务,会启动一个java进程,比如run_example_server.sh会启动io.druid.cli.Main exa

Load 数据1

Druid 的load 数据分为两类 :批量load(历史数据) 和实时load(新数据) ,本文介绍批量load 数据 indexing 服务 批量load 数据需要用到indexing 服务,它是一个独立的服务,,接受任务的形式为POST请求.The output of most tasks are segments. 运行overlord 节点 启动命令 java -Xmx2g -Duser.timezone=UTC -Dfile.encoding=UTF-8 -classpath lib

【Android Developer Blog】Android Studio 2.0(07 APRIL 2016)

Android Studio 2.0 Android Studio 2.0是打造高品质,高性能应用的Android开发平台,包括手机和平板,Android Auto,Android Wear和 Android TV.作为Google官方的IDE,Android Studio包含了你需要的一切,包括代码编辑器(code editor),代码分析工具(code analysis tools),模拟器(emulators )等.Android Studio 2.0 stable有着更快的编译速度,更好

druid监控每个服务数据库连接数和SQL执行效率

1.下载druid 2.将刚刚下载的druid放入tomcat下的lib目录 3.配置要监控的服务启动文件,添加:-Djava.net.preferIPv4Stack=true -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=4090 -Dcom.sun.management.jmxremote.rmi.port=4090 -Dcom.sun.management.jmxremote.ssl=false -Dc

微服务配置中心实战:Spring + MyBatis + Druid + Nacos

在结合场景谈服务发现和配置中我们讲述了 Nacos 配置中心的三个典型的应用场景,包括如何在 Spring Boot 中使用 Nacos 配置中心将数据库连接信息管控起来,而在"原生"的 Spring 中可以怎么使用 Nacos 配置中心呢?很多基于 Spring MVC 框架的 Web 开发中,Spring + MyBatis + Druid 是一个黄金组合,在此基础上融入 Nacos 配置中心,将会发生什么特别的变化呢? 本文将通过一个用户信息查询示例,演示在 Spring Web

Druid 实时数据分析存储系统

简介 Druid 是一个开源的,分布式的,列存储的,适用于实时数据分析的存储系统,能够快速聚合.灵活过滤.毫秒级查询.和低延迟数据导入. Druid在设计时充分考虑到了高可用性,各种节点挂掉都不会使得druid停止工作(但是状态会无法更新): Druid中的各个组成部分之间耦合性低,如果不需要实时数据完全可以忽略实时节点: Druid使用Bitmap indexing加速列存储的查询速度,并使用CONCISE算法来对bitmap indexing进行压缩,使得生成的segments比原始文本文件

Druid(准)实时分析统计数据库——列存储+高效压缩

Druid是一个开源的.分布式的.列存储系统,特别适用于大数据上的(准)实时分析统计.且具有较好的稳定性(Highly Available). 其相对比较轻量级,文档非常完善,也比较容易上手. Druid vs 其他系统 Druid vs Impala/Shark Druid和Impala.Shark 的比较基本上可以归结为需要设计什么样的系统 Druid被设计用于: 一直在线的服务 获取实时数据 处理slice-n-dice式的即时查询 查询速度不同: Druid是列存储方式,数据经过压缩加入

Druid 大数据分析之快速应用(单机模式)

1.概述 本节快速安装基于单机服务器,很多配置可以默认不需要修改,数据存储在操作系统级别的磁盘.推出快速安装的目的,便于了解并指导基于Druid进行大数据分析的开发流程.本节主要讲Druid的安装.实例数据加载.查询及使用问题解决. 2.安装要求 1. Java 7 及以上   2. Linux, Mac OS X, or other Unix-like OS (Windows不支持)   3. VMware   4. 2CPU ++; 内存2G ++ 3.Zookeeper 安装 本次采单机版