apache kylin的单节点及多节点安装

Kylin的使用安装文档
Kylin简介
Kylin是什么
Apache Kylin是一个开源的分布式分析引擎，最初由eBay开发贡献至开源社区。它提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表，并支持高并发。简单来说，Kylin的核心思想是预计算，即对多维分析可能用到的度量进行预计算，将计算好的结果保存成Cube，供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询，这决定了Kylin能够拥有很好的快速查询和高并发能力。
可扩展超快OLAP引擎:
Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计
- Hadoop ANSI SQL 接口:
Kylin为Hadoop提供标准SQL支持大部分查询功能
- 交互式查询能力:
通过Kylin，用户可以与Hadoop数据进行亚秒级交互，在同样的数据集上提供比Hive更好的性能
- 多维立方体（MOLAP Cube）:
用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体
- 与BI工具无缝整合:
Kylin提供与BI工具，如Tableau，的整合能力，即将提供对其他工具的整合
- 其他特性:
- Job管理与监控
- 压缩与编码
- 增量更新
- 利用HBase Coprocessor
- 基于HyperLogLog的Dinstinc Count近似算法
- 友好的web界面以管理，监控和使用立方体
- 项目及立方体级别的访问控制安全
- 支持LDAP （网络）

kylin是一个用空间换取时间的分布式分析引擎，kylin核心是cube，以不同的维度，将某些查询预计算出来，存入hbase中，针对不同的业务场景会建立不同的cube来使用，满足绝大多数的查询需求。（个人）

Kylin的使用场景
Kylin适用于大量数据周期性查询，

Kylin的优缺点
缺点：多维索引要对多维度的各种组合作预计算，离线建索引需要较大计算量和时间，最终索引也会占用较多磁盘空间。
优点 ：Kylin的Cube预处理会大幅减小在线数据规模，对于超大规模数据更有优势。
Kylin 架构
 
Kylin的安装
单节点安装
Kylin的安装比较简单但是kylin是构建在大数据集群之上的所以要满足以下条件
?  Hadoop: 2.4+
?  Hive: 0.13+
?  HBase: 0.98+, 1.x
?  JDK: 1.7+
然后下载二进制包http://kylin.apache.org/download/
将二进制包上传至某个节点
切换至目录，解压文件
Tar  -xvzf  文件
配置文件路径
Vi /etc/profile
Export  Kylin_home=/path/
例如：
export KYLIN_HOME=/home/apache-kylin-2.2.0-bin
启动kylin
Cd到指定的解压目录下：执行 ./bin/kylin.sh start
停止服务：
执行 ./bin/kylin.sh  stop
注意： 执行时必须保证本用户下有权限建立habse表，

多节点安装
安装步骤与多节点安装相同，需修改配置文件
修改conf下的kylin.properties
因为只能有一个job节点，所以将
kylin.server.mode=all只能有一个节点是all，其他节点为query
kylin.server.cluster-servers=localhost:7070 在这一行添加地址例如
kylin.server.cluster-servers=192.168.3.251:7070,192.168.3.252:7070
安装负载均衡器ngnix
配置负载均衡：
Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。
1 依赖下载
wget https://ftp.pcre.org/pub/pcre/pcre-8.13.tar.gz
yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
openssl可能需要单独安装
安装pcre
1 tar -zxvf soft/pcre-8.38.tar.gz
2 cd pcre-8.38/
3 ./configure
4 make　
5 make install
检查是否安装成功：
切换至安装目录
Pcre version

2 Nginx下载
wget http://nginx.org/download/nginx-1.5.9.tar.gz
1 tar –xzvf 解压包
2 cd 解压包
3 ./configure
4. make
5 make install
检查是否安装成功
cd /var/local/nginx
 
表示安装成功
3 配置负载均衡：
 
启动
启动停止重启与测试
    1）启动
        #方法1
        # /usr/local/nginx/sbin/nginx -c     /usr/local/nginx/conf/nginx.conf
        #方法2
        # cd /usr/local/nginx/sbin
        # ./nginx

2) 停止
        #查询nginx主进程号
        ps -ef | grep nginx
        #停止进程
        kill -QUIT 主进程号
        #快速停止
        kill -TERM 主进程号
        #强制停止
        pkill -9 nginx
    
    3) 重启(首次启动需：/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf)
        /usr/local/nginx/sbin/nginx -s reload
安装与配置详情请参考：http://www.linuxidc.com/Linux/2016-08/134110.htm
访问 80端口并加上kylin路径

Kylin的使用
登录密码账号为ADMIN/KYLIN
Kylin的使用请参考官网有详细说明。Cube的建立与业务场景紧密结合。需结合业务讲解

原文地址：https://www.cnblogs.com/tsxylhs/p/7872126.html

时间： 2024-11-03 03:36:26

apache kylin的单节点及多节点安装的相关文章

eureka组件，单节点与多节点部署演示

环境搭建 目录结构(ad-eureka为子模块) --ad-spring-cloud --ad-eureka --pom.xml --pom.xml 主pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XML

实战-Cassandra之单令牌替换down节点

替换单令牌体系结构集群中的死节点 替换单令牌体系结构群集中的节点而不是vnode的步骤. 警告:仅将新节点添加到群集.一个新节点是一个从未启动Apache Cassandra™(DDAC)的DataStax分发的系统.该节点在数据目录,saved_caches,commitlog和提示中必须完全没有PREVIOUS DATA.添加先前用于测试的节点或已从另一个集群中删除的节点,会将较旧的数据合并到集群中,并可能导致数据丢失或损坏. 程序 运行nodetool status以确认该节点已死(DN)

快慢指针原理--快速找到未知长度单链表的中间节点

package com.java.dataStruct; //节点类 public class Node<E> { E item; Node next; public Node(){ } public Node(E element){ this.item = element; } public Node(E element, Node next){ this.item = element; this.next = next; } } Node p1,r1; Node L1 = new Node

求单链表的中间节点，用快慢指针

? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Node* findMid(Node* &head) {     if(head == NULL||head->next == NULL)         return head;          Node* p = head;     Node* q = head;     while(q->next->next&&(q = q->next))     {         p = p-

单链表判断公共节点

单链表判断有无公共节点是个比较有趣的问题.这里所说的公共节点指的是完全相同的节点,不同与一般意义上的节点元素相同.相交单链表简单的都会是如下形式(有环除外): 粗略分析,容易想到就是暴力法,双重循环寻找公共节点. 关于单链表的判断有无公共节点,除了暴力法之外,还有很多方法可以尝试.下面简单列举几种. 可以尝试hash,如果两个节点的首地址相同,则该节点必定相同,可以以空间换取时间,先处理其中一个单链表,建立hash表,然后处理另外一个判断有无公共节点,时间复杂度为O(max(n,m)),空间复杂

C语言：【单链表】查找单链表的中间节点，要求只能遍历一次

#include<stdio.h> #include<assert.h> #include<stdlib.h> typedef int DataType; typedef struct SListNode {     DataType data;     struct SListNode* next; }SListNode; SListNode* BuyNode(DataType x) {     SListNode* next = (SListNode*)malloc

3.4 从无头单链表中删除节点

题目:有一个单链表,没有头指针,现在有一个指针指向这个链表的中间的一个节点,要求删除这个节点. 方法:由于没有办法寻求指针去找到要删除的这个节点的前一个节点. 所以要另想办法. 设立新的指针指向要删除的节点的后一个节点,然后把这两个节点里面的数据换一下!然后删除要删除节点的后一个节点! 这样 就ok了! 代码: void DeleteRandomNode(node *pCurrent) { assert(pCurrent != NULL); node *pNext = pCurrent->nex

从无头单链表中删除节点

1.从无头单链表中删除节点 一个没有头指针的单链表.一个指针指向此单链表中间的一个节点(不是第一个也不是最后一个节点).将该节点删除. A-->B-->C-->D       =====>     A-->C-->D 问题解析:由于只能单向遍历,故与删除B节点,无法得知B的前驱A,即无法像普通删除中那样让A的next指向C; 这里有个技巧,将C当做B,而B复制成C,则删除C节点即可: 2.给定一个链表的头指针,要求只遍历一次,将单链表中的元素顺序反转过来. A-->

表单流程中一个节点是多人共同执行，每个执行人可以选择下一步要执行人员的实现思路

度量快速开发平台中,表单工作流是定义为简单快捷配置流程的一个工具,里面都是最常用的流程功能.现在有用户要求 在表单工作流中,有一个节点比如 “分管领导审批”,这个节点本身是可以多人共同执行的,需要实现每一个分管领导在审批后,都可以选择自己分管部门的负责人去落实办理.我们知道,表单工作流共同执行节点,之前执行是最后一个人执行完后,才流转到下一个步骤,选择人员.   那我们如何来实现用户的这个需求呢? 我们知道,度量快速开发平台中,高级工作流开发,可以实现任何的功能,无论是流程节点跳转,每个人执行的