Druid入门(1)—— 快速入门实时分析利器-Druid_0.17

一、安装准备

本次安装的版本是截止2020.1.30最新的版本0.17.0

软件要求

  • 需要Java 8(8u92 +)以上的版本,否则会有问题
  • Linux,Mac OS X或其他类似Unix的操作系统(不支持Windows)

硬件要求

Druid包括一组参考配置和用于单机部署的启动脚本:

  • nano-quickstart
  • micro-quickstart
  • small
  • medium
  • large
  • xlarge

单服务器参考配置

Nano-Quickstart:1个CPU,4GB RAM
  • 启动命令: bin/start-nano-quickstart
  • 配置目录: conf/druid/single-server/nano-quickstart
微型快速入门:4个CPU,16GB RAM
  • 启动命令: bin/start-micro-quickstart
  • 配置目录: conf/druid/single-server/micro-quickstart
小型:8 CPU,64GB RAM(?i3.2xlarge)
  • 启动命令: bin/start-small
  • 配置目录: conf/druid/single-server/small
中:16 CPU,128GB RAM(?i3.4xlarge)
  • 启动命令: bin/start-medium
  • 配置目录: conf/druid/single-server/medium
大型:32 CPU,256GB RAM(?i3.8xlarge)
  • 启动命令: bin/start-large
  • 配置目录: conf/druid/single-server/large
大型X:64 CPU,512GB RAM(?i3.16xlarge)
  • 启动命令: bin/start-xlarge
  • 配置目录: conf/druid/single-server/xlarge

我们这里做测试使用选择最低配置即可nano-quickstart

二、下载安装包

访问官网:

http://druid.io/现在也会跳转https://druid.apache.org/

或者直接访问https://druid.apache.org/

点击download进入下载页面:

选择最新版本: apache-druid-0.17.0-bin.tar.gz 进行下载

200多M

也可以选择下载源码包 用maven进行编译

三、安装

上传安装包

在终端中运行以下命令来安装Druid:

tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0

安装包里有这几个目录:

  • LICENSENOTICE文件
  • bin/* -脚本
  • conf/* -单服务器和集群设置的示例配置
  • extensions/* -扩展
  • hadoop-dependencies/* -Druid Hadoop依赖
  • lib/* -Druid库
  • quickstart/* -快速入门教程的配置文件,样本数据和其他文件

配置文件

#进入我们要启动的配置文件位置:
cd conf/druid/single-server/nano-quickstart/

_common 公共配置

是druid一些基本的配置,比如元数据库地址 各种路径等等

其他的是各个节点的配置

比较类似,比如broker

cd broker/

jvm配置

main配置

runtime运行时相关的配置

回到主目录

启动的conf在

cd conf/supervise/single-server

里面是不同配置启动不同的脚本

四、启动

回到主目录

./bin/start-nano-quickstart

启动成功:

访问

localhost:8888

看到管理页面

如果要修改端口,需要修改配置的端口和主目录下的

vi bin/verify-default-ports 

五、加载数据

Druid提供了一个示例数据文件,其中包含2015年9月12日发生的Wiki的示例数据。

此样本数据位于quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz

示例数据大概是这样:

{
  "timestamp":"2015-09-12T20:03:45.018Z",
  "channel":"#en.wikipedia",
  "namespace":"Main",
  "page":"Spider-Man's powers and equipment",
  "user":"foobar",
  "comment":"/* Artificial web-shooters */",
  "cityName":"New York",
  "regionName":"New York",
  "regionIsoCode":"NY",
  "countryName":"United States",
  "countryIsoCode":"US",
  "isAnonymous":false,
  "isNew":false,
  "isMinor":false,
  "isRobot":false,
  "isUnpatrolled":false,
  "added":99,
  "delta":99,
  "deleted":0,
}

Druid加载数据分为以下几种:

  • 加载文件
  • 从kafka中加载数据
  • 从hadoop中加载数据
  • 自定义加载方式

我们这样演示一下加载示例文件数据

1、进入localhost:8888 点击load data

2、选择local disk

3、选择Connect data

4、预览数据

Base directory输入quickstart/tutorial/

File filter输入 wikiticker-2015-09-12-sampled.json.gz

然后点击apply预览 就可以看见数据了 点击Next:parse data解析数据

5、解析数据

可以看到json数据已经被解析了 继续解析时间

6、解析时间

解析时间成功 之后两步是transform和filter 这里不做演示了 直接next

7、确认Schema

这一步会让我们确认Schema 可以做一些修改

由于数据量较小 我们直接关掉Rollup 直接下一步

8、设置分段

这里可以设置数据分段 我们选择hour next

9、确认发布

10、发布成功 开始解析数据

等待任务成功

11、查看数据

选择datasources 可以看到我们加载的数据

可以看到数据源名称 Fully是完全可用 还有大小等各种信息

12、查询数据

点击query按钮

我们可以写sql查询数据了 还可以将数据下载

Druid相关博文

什么是Druid

静下心来,努力的提升自己,永远都没有错。更多实时计算相关博文,欢迎关注实时流式计算

原文地址:https://www.cnblogs.com/tree1123/p/12289827.html

时间: 2024-10-28 21:34:57

Druid入门(1)—— 快速入门实时分析利器-Druid_0.17的相关文章

python-基础入门-6快速入门总结

快速入门 程序输出: 1.print语句,字符串用双引号括起来 _在解释器中表示最后一个表达式的值. print语句 与字符串格式(%)结合使用,能实现字符串替换功能. >>>print "%s is number %d!" % ("python",1) python is number 1 ! %s表示由一个字符串替换,%d表示由一个整形,%f表示浮点型 符号>>重定向 2. 程序输出 raw_input()内建函数它读取标准输入,并

.NET Core实战项目之CMS 第二章 入门篇-快速入门ASP.NET Core看这篇就够了

作者:依乐祝 原文链接:https://www.cnblogs.com/yilezhu/p/9985451.html 本来这篇只是想简单介绍下ASP.NET Core MVC项目的(毕竟要照顾到很多新手朋友),但是转念一想不如来点猛的(考虑到急性子的朋友),让你通过本文的学习就能快速的入门ASP.NET Core.既然是快速入门所以过多过深的内容我这里就一笔带过了!然后在后面的一些列文章中再慢慢的对其中的概念进行阐述. 本文已收录至.NET Core实战项目之CMS 第一章 入门篇-开篇及总体规

Python3快速入门

Python3快速入门Python3快速入门(一)--Python简介https://blog.51cto.com/9291927/2385592Python3快速入门(二)--Python3基础https://blog.51cto.com/9291927/2409575Python3快速入门(三)--Python3标准数据类型https://blog.51cto.com/9291927/2409580Python3快速入门(四)--Python包管理https://blog.51cto.com

d3.js:数据可视化利器之快速入门

hello,data! 在进入d3.js之前,我们先用一个小例子回顾一下将数据可视化的基本流程. 任务 用横向柱状图来直观显示以下数据: var data = [10,15,23,78,57,29,34,71]; 简单地思考一下,要完成这个任务有两个问题需要解决: 用什么可视元素来表现横向柱? 数据对应到可视元素的什么属性? 这个不算困难,我们使用HTML的DIV元素来实现,代码参见http://www.hubwiz.com/course/54fd40cfe564e50d50dcf284/:快速

Maven3 快速入门

Maven3 快速入门 Maven 是目前大型项目构建的必备知识.本章会通过介绍 Maven 的作用,Maven 的基本语法,以及搭建企业级项目架构来快速入门 Maven .前两部分是理论知识只需要了解,第三部分是实战操作,请把重心和精力放在最后. 1 为什么用 Maven 一个基本web项目是从 视图层(H5,CSS,Js等前端技术) 到 控制层(SpringMVC,Struts2) 到 事务处理层(Spring IOC,AOP) 再到 持久层(SpringData,Hibernate,Myb

微服务的入门级微框架Spring Boot快速入门

详情请交流  QQ  709639943 00.微服务的入门级微框架Spring Boot快速入门 00.基于java的微信公众号二次开发视频教程 00.leetcode 算法 面试 00.北风网 零基础到数据(大数据)分析专家-首席分析师 00.快速上手JMeter 00.Jmeter 00.2017年Java web开发工程师成长之路 00.R语言速成实战 00.R语言数据分析实战 00.Python+Django+Ansible Playbook自动化运维项目实战 00.Java深入微服务

SpringDataJPA快速入门

前言 之前在学习 SpringBoot 框架的时候,使用到了 SpringData JPA,但是当时只是简单的查询,没有用到稍微复杂的查询. JPA 的 JPQL 语法规则对于简单的查询实属利器,大大加快了开发速度.不久前,在公司将用户推荐功能单独抽取出为一个独立项目,由于公司一直沿用的底层框架太老,只能使用 JDK1.6,JDK 1.9都出来了,实在不能忍??,果断引入了 SpringData JPA. 然后最近公司其他同事接手了该项目,但是不太了解 SpringData JPA 的使用,于是

笔记:Spring Cloud Zuul 快速入门

Spring Cloud Zuul 实现了路由规则与实例的维护问题,通过 Spring Cloud Eureka 进行整合,将自身注册为 Eureka 服务治理下的应用,同时从 Eureka 中获取了所有其他微服务的实例信息,这样的设计非常巧妙的将服务治理体系中维护的实例信息利用起来,使得维护服务实例的工作交给了服务治理框架自动完成,而对路由规则的维护,默认会将通过以服务名作为 ContextPath 的方式来创建路由映射,也可以做一些特别的配置,对于签名校验.登录校验等在微服务架构中的冗余问题

javaweb-html快速入门

本文主要是进行HTML简单介绍(详细的属性查帮助文档就行了,这里主要为快速入门,赶时间,在最短的时间中看明白一个html文件的代码(如果能称之为代码的话)详细的样式表,布局啥的有时间再研究吧) HTML 1.html的简介 1.1,html的全称:HyperText Mark-up Language ,超文本标记型语言,是网页的语言. 超文本:比文本更加强大(后面还会讲到XML,可扩展标记性语言) 标记:就是标签,html所有操作都是通过标签直接或间接的操作(把需要操作的数据通过标签封装起来)