hadoop in hue的搭建(基于cdh版本)

首先官网下载tar包

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz

在安装hue之前,还需要安装各种依赖包,首先要检查是否有这些依赖包,mysql和mysql-devel已经在安装hive的时候有了 所以不必安装

添加mvn源

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

安装依赖(mysql和mysql-devel已经在安装hive的时候有了 所以不必安装)

yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel make mvn openldap-devel python-devel sqlite-devel  openssl-devel gmp-devel

切换到hadoop用户并上传并解压tar包

建立软连接

进入hue安装目录 使用make apps进行编译,编译完成后进入apps目录

进入desktop的conf目录下修改hue.ini配置文件

secret_key=jFE93j;2[290-eiw.KEiwN2s3[‘d;/.q[eIW^y#e=+Iei*@Mn<qW5o

# Execute this script to produce the Django secret key. This will be used when
# `secret_key` is not set.
## secret_key_script=

# Webserver listens on this address and port
http_host=192.168.80.136
http_port=8888

# Time zone name
time_zone=Asia/Shanghai

# Enable or disable Django debug mode.
django_debug_mode=false

# Enable or disable database debug mode.
## database_logging=false

# Enable or disable backtrace for server error
http_500_debug_mode=false

# Enable or disable memory profiling.
## memory_profiler=false

# Server email for internal error messages
## django_server_email=‘[email protected]‘

# Email backend
## django_email_backend=django.core.mail.backends.smtp.EmailBackend

# Webserver runs as this user
server_user=hue
server_group=hue

# This should be the Hue admin and proxy user
default_user=hue

# This should be the hadoop cluster admin
default_hdfs_superuser=hadoop

先启动hue ,首先要给desktop.db赋予权限

接着

配置完我们要登录一下hue

接着配置hdfs模块(这个是根据集群是否是HA来配置的,我的是HA的,所以配置如下.非HA集群要和自己默认的hdfs-site.xml和core-site.xml配置文件一致)

完成之后首先将 hdfs-site.xml中的如下配置加上

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

接着core-stie.xml加上

<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>

接着讲这两个配置文件同步到其他节点,我用的是脚本,大家可以用scp命令  例如 scp  文件名  节点名:目标路径 即可

然后启动hdfs文件系统 ,接着重启hue发现

无法访问:/user/hadoop。 Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".

可以查看这篇http://www.cnblogs.com/justinyang/p/8728021.html

以及http://www.cnblogs.com/justinyang/p/8728015.html 来进行解决

yarn这个模块 default和ha这两个都要配置

zookeeper的模块

hive这个模块(hive我是安装在justinyang这个节点上的,大家要根据自己的情况来进行实地的配置)

同时hive-site.xml文件有两个配置要修改

然后首先要启动yarn,然后mysql服务要打开,接着打开hiveserver 同时启动hive

然后查看hue,显示

大家可以看这篇文章,如何处理数据库被锁的问题 hue集成hive访问报database is locked   http://www.cnblogs.com/justinyang/p/8728522.html

接着配置hbase,

接着启动hbase和thrift服务

接着查看hbase

这个问题可参考http://www.cnblogs.com/justinyang/p/8728630.html来进行解决.



原文地址:https://www.cnblogs.com/justinyang/p/8724166.html

时间: 2024-10-05 06:56:38

hadoop in hue的搭建(基于cdh版本)的相关文章

CDH版本hadoop2.6伪分布式安装

CDH版本hadoop的一个重要分支,使用hadoop-2.6.0-cdh5.9.0在单台CentOS配置hadoop伪分布式环境: 1.基础环境配置 主机名 IP地址 角色 Hadoop用户 localhost 192.168.30.139 NameNode.ResourceManager.SecondaryNameNode.DataNode.NodeManager hadoop 1.1.关闭防火墙和SELinux 1.1.1.关闭防火墙 $ systemctl stop firewalld

cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南

hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 我目前使用的是hue-3.7.0-cdh5.3.6 hue(HUE=Hadoop User Experience) Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apach

搭建基于MyEclipse的Hadoop开发环境

前面我们已经搭建了一个伪分布模式的Hadoop运行环境. 我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境. 闲话少说,走起! 第一步 安装MyEclipse的Hadoop插件 1 打开MyEclipse,查看是否已经安装过 window  ->  preferences 没有显示Hadoop Map/Reduce,所以说明是MyEclipse是没有安装过Eclipse的插件. 首先,确认你

hue3.5.0使用初探(cdh版本)

之前一直用phpHiveAdmin,也一直在关注hue,最近打算调研一下hue,hue在最近两年发展很快,页面效果和功能上都有很大程度的提升,所支持的服务也越来越多,除了hive,hbase,目前还支持sqoop,impala,pig等. hue的一个大致架构如下图所示 核心服务是Hue Server,在本地使用SQLLite作为默认的DB,用户可以通过Hue UI(也就是通过浏览器)查看Hue的服务并使用相关的服务.Hue由python实现,通过thrift与所支持的各种服务进行交互. 目前集

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA.在linux下开发JAVA还数eclipse方便. 下载 进入官网:http://eclipse.org/downloads/. 找到相应的版本进行下载,我这里用的是eclipse-SDK-3.7.1-linux-gtk版本. 解压 下载下来一般是tar.gz文件,运行: $tar -zxvf eclipse-SDK-3.7.1-linu

hadoop和hdfs环境搭建

参考链接:http://blog.csdn.net/zolalad/article/details/11470449 环境:ubuntu14.04 hadoop1.0.1 下面以3台机器为例,讲解安装过程 1) 准备3台机器,一台作为nameNode,命名为master,两台作为dataNode,命名为slave01, slave02.强调命名是为了方便管理,其实命名无所谓.如果已命名为其它名称,可通过编辑/etc/hostname进行更改. 2) 为所有主从节点配置静态ip,因为主从节点间需要

CentOS版hadoop完全分布初步搭建

(之前学习时的记录) 整理一下在搭建hadoop完全分布模式时的相关步骤,及搭建过程中遇到的一些问题. 相关环境: 环境:基于win7的VM中CentOS64位系统 台数:3台:分别为master.slave1.slave2 hadoop版本:CDH3-U6 所用到的工具:Xshell(远程链接管理工具).filezilla(可以远程移动文件) 第一部分:在VM中安装CentOS 1.下载 VM自己从网上下载,尽量不要装最新版本的:CentOS选择后缀为iso版本下载 2.安装 VM自己安装:

Hadoop集群初步搭建:

自己整理了一下Hadoop集群简易搭建的过程,感谢尚观科技贾老师的授课和指导! 基本环境要求:能联网电脑一台:装有Centos系统的VMware虚拟机:Xmanager Enterprise 5软件. •规划集群的ip地址:(计划) 10.10.10.31-->uplooking01 10.10.10.32-->uplooking02 10.10.10.33-->uplooking03 •克隆2个虚拟机:(在VMware里操作) 右击将uplooking重命名为uplooking01:

linux学习笔记——搭建基于nginx的web服务器、多核配置、nginx配置参数

############ 认识nginx #############Nginx:(发音同 engine x)是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行.由俄罗斯的程序设计师Igor Sysoev所开发,最初供俄国大型的入口网站及搜寻引擎Rambler(俄文:Рамблер)使用.  其优点是轻量级(占有内存少),高并发(并发能力强),事实上nginx的并发能力确实在同类型的网页伺服器中表现较好.目前中国大陆使用ngi