Kylin的安装及遇到的问题

************************************************************************************************

首先,这是我博客园的第一篇记录,终于加入了分享的队伍,恭喜自己!!

************************************************************************************************

以下正文:

工作原因,最近开始学习Kylin,关于Apache Kylin的介绍可以参见中文官网:

1 http://kylin.apache.org/cn/

本篇主要记录一下Kylin的安装及我遇到的问题。

首先,Kylin的下载安装很简单,可以参考官网安装文档:

1 http://kylin.apache.org/cn/docs/install/index.html

其中包含了JDK,Hadoop,Hive,HBase等相关组件的版本要求,硬件要求以及安装步骤。

如果是在已有JDK,Hadoop,Hive,HBase的环境下,最好先根据现有环境的组件版本去官网确定要使用的Kylin版本,然后再下载。

官网下载地址:

1 http://kylin.apache.org/cn/download/

下载,解压,配置环境变量后,根据安装文档的指导运行环境检测文档:

$KYLIN_HOME/bin/check-env.sh

如果您的环境存在任何的问题,脚本将打印出详细报错信息。如果没有报错信息,代表您的环境适合 Kylin 运行。

环境检测时我遇到了几个HDFS权限问题:

于是天真的我手动创建了该路径:

sudo -u hdfs hadoop fs -mkdir /kylin

让我意外的是,之后出现了另一个同样的问题:

我居然之前居然以为只会创建一个路径而没有其他写操作,真不知道当时怎么想的。

打开check-env.sh来看,创建路径的命令为:

hadoop ${hadoop_conf_param} fs -mkdir -p ...

后面还有几个类似的行,将命令改为:

sudo -u hdfs hadoop ${hadoop_conf_param} fs -mkdir -p ...

即可解决。

OK,至此环境检测完成。

下一步,启动Kylin

sudo ./kylin.sh start

新的问题出现了:

问题出现在find-hive-dependency.sh中,把 hive_env=`hive ${hive_conf_properties} -e set 2>&1 | grep ‘env:CLASSPATH‘` 这一行注释掉,加入下面几行:

    hive -e set >/tmp/hive_env.txt 2>&1
    hive_env=`grep ‘env:CLASSPATH‘ /tmp/hive_env.txt`
    hive_env=`echo ${hive_env#*env:CLASSPATH}`
    hive_env="env:CLASSPATH"${hive_env}

问题解决,原因应该是管道符,前面命令输出的字符长度有限,详情请参见:

https://www.cnblogs.com/langfanyun/p/10407881.html

再次启动Kylin

没错

新问题:

在kylin.properties中kylin.env.hadoop-conf-dir的默认值为/etc/hadoop/conf,导致启动Kylin在检查Hive,HBase的依赖配置文件时找不到相关文件,所以需要根据自己的情况修改路径。

第三次启动Kylin

报错

Permission denied: user=root, access=WRITE, inode="/user":hdfs:hdfs:drwxr-xr-x

解决方法:

$ hdfs dfs -mkdir /user/root
$ hdfs dfs -chown root:root /user/root

第四次启动Kylin

终于,启动成功~~

原文地址:https://www.cnblogs.com/Urey-MY/p/11961468.html

时间: 2024-10-11 10:50:04

Kylin的安装及遇到的问题的相关文章

Ubuntu16.04下Kylin的安装与配置

一.系统环境 kylin的安装配置并不像官方文档中描述的那样简单,复杂的原因在于hadoop,hive,hbase,kylin的版本一定要兼容,不然就会出现各种奇怪的错误.以下各软件版本可以成功运行kylin. os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 mysql : 5.7.21 hive : 2.1.0 hbase: 0.98.22-hadoop2 kylin: 1.5.4.1 以上版本软件在这里下载. 安装kyli

Kylin CDH安装

Kylin安装 从官网下载 apache-kylin-2.0.0-bin-cdh57.tar.gz 放到每台需要安装kylin 服务的机器 [[email protected] cdh5.12.0]$ sudo tar -zxvf apache-kylin-2.0.0-bin-cdh57.tar.gz -C /opt/ [[email protected] opt]$ sudo chown -R hdfs:hdfs /opt/apache-kylin-2.0.0-bin/ [[email pro

在Ubuntu Kylin下安装QQ教程

下载: 下载地址:http://www.ubuntukylin.com/application/show.php?lang=cn&id=279 下载后解压得到wine-qqintl文件夹,里面有三个deb包:fonts-wqy-microhei_0.2.0-beta-2_all.deb. ttf-wqy-microhei_0.2.0-beta-2_all.deb.wine-qqintl_0.1.3-2_i386.deb 安装: 1.在wine-qqintl目录下打开终端输入:sudo dpkg

kylin的安装与配置

我的环境: Cloudera Hadoop5.3.6 其中, Hadoop版本2.5.0 Hbase版本0.98.6 Hive版本0.13.1 使用的kylin版本:1.5.2.1 下载地址: http://apache.fayea.com/kylin/apache-kylin-1.5.2.1/ 我下载的是:apache-kylin-1.5.2.1-bin.tar.gz 1.解压 tar –zxvf apache-kylin-1.5.2.1-src.tar.gz 2.配置kylin环境变量 Vi

Ubunntu kylin下安装VmWare Tools(简洁方法)

1.在VM菜单栏单击虚拟机,选择安装Vmware tools(或者是重装Vmware Tools) 2.会弹出一个界面,就是光盘加载的那个界面,里面有个.******.gz文件 3.复制到桌面(你喜欢的地方),并右键单击解压 4.右键文件夹空白处,在终端中打开,输入: sudo ./vmware-install.pl -d 其实这是你那个解压后的一个文件名. 5.重启,OK

apache kylin的单节点及多节点安装

Kylin的使用安装文档Kylin简介Kylin是什么Apache Kylin是一个开源的分布式分析引擎,最初由eBay开发贡献至开源社区.它提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的Hive表,并支持高并发.简单来说,Kylin的核心思想是预计算,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问.把高复杂度的聚合运算.多表连接等操作转换成对预计算结果的查询,这决定

Ubuntu 14.04安装mysql

在ubuntu kylin上面安装mysq的过程中遇到一些问题,记录如下, wget http://cdn.mysql.com//Downloads/MySQL-5.7/mysql-server_5.7.13-1ubuntu14.04_amd64.deb-bundle.tar 包下载下来之后,无法添加执行权限,也无法解压,出现如下错误 上网查说是没有安装ia32-libs,结果在网上找了很多方法,都是不行,最后在国外网站上找到如下解决方法, cd /etc/apt/sources.list.de

子进程 已安装 pre-removal 脚本 返回了错误号 1或2 与 子进程 已安装 post-installation 脚本 返回了错误号 1或2

今天在ubuntu kylin上安装了virtualbox, 后来我想删除了再装个新一点的,结果正常的情况下删除不了,我就把找到的virtualbox的目录全部都删除了, 再通过apt-get remove等命令就删除不了了,出现标题所示的错误 子进程 已安装 pre-removal 脚本 返回了错误号 1 在网上找了一圈,费了好大的劲才找到以下的解决方案,记录一下, http://www.xuebuyuan.com/2153374.html sudo gedit /var/lib/dpkg/s

在Ubuntu Kylin15.05上安装MongoDB

在Ubuntu Kylin15.05上安装MongoDB MongoDB是典型的NoSQL,但是据说也有很多人在用它.于是我尝试一下在Ubuntu Kylin上安装一下这个数据库. 首先去它的官网看看吧.链接地址:https://www.mongodb.org,界面做得很不错的样子,而且也非常方便,很快就可以找到下载地址.看了一下官网,话说使用Ubuntu的LTS版会更加方便,不过我没有选择好,安装的是Ubuntu Kylin系统,因此不能简单地使用apt进行安装了.好在MongoDB官方有一个