Hadoop 管理工具HUE配置

机器环境

Ubuntu 14.10 64位 || OpenJDK-7 || Scala-2.10.4

机群概况

Hadoop-2.6.0 || HBase-1.0.0 || Spark-1.2.0 || Zookeeper-3.4.6 || hue-3.8.1

Hue简介(摘自网络):

ue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。很早以前就听说过Hue的便利与强大,一直没能亲自尝试使用,下面先通过官网给出的特性,通过翻译原文简单了解一下Hue所支持的功能特性集合:

  • 默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为MySQL、Postgresql,以及Oracle
  • 基于文件浏览器(File Browser)访问HDFS
  • 基于Hive编辑器来开发和运行Hive查询
  • 支持基于Solr进行搜索的应用,并提供可视化的数据视图,以及仪表板(Dashboard)
  • 支持基于Impala的应用进行交互式查询
  • 支持Spark编辑器和仪表板(Dashboard)
  • 支持Pig编辑器,并能够提交脚本任务
  • 支持Oozie编辑器,可以通过仪表板提交和监控Workflow、Coordinator和Bundle
  • 支持HBase浏览器,能够可视化数据、查询数据、修改HBase表
  • 支持Metastore浏览器,可以访问Hive的元数据,以及HCatalog
  • 支持Job浏览器,能够访问MapReduce Job(MR1/MR2-YARN)
  • 支持Job设计器,能够创建MapReduce/Streaming/Java Job
  • 支持Sqoop 2编辑器和仪表板(Dashboard)
  • 支持ZooKeeper浏览器和编辑器
  • 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器

1 Hue安装(参考:http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/)

1.1 在gi上下载HUE源码(如果已经安装git可省率第一步)

sudo apt-get install git

git clone https://github.com/cloudera/hue.git

1.2 需要安装一些依赖的软件包,官网给出了一些,如果环境不一样,灵活调整,GIT上面给出的依赖文件列表:https://github.com/cloudera/hue | Development Prerequisites

apt-get install python2.7-dev \
make \
libkrb5-dev \
libxml2-dev \
libxslt-dev \
libsqlite3-dev \
libssl-dev \
libldap2-dev \
python-pip

1.3 因为需要用maven编译,所以需要安装maven,最好是去官网下载maven安装包

1.4 编译Hue

make apps

说明:我在编译的时候出现了两种错误,一是找不到某些文件,这种情况下,需要检查一下是否是少了某一依赖没有安装;二是下载jar包失败,这种情况下,重新make apps,多试几次,在经历了两三天的折腾下,终于编译好了,同时http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/这里面有些回帖,可能问题就和你的一样,我的一个问题就是在别人大帖子中找到的答案。

1.5 启动HUE服务,启动之后能进入http://127.0.0.1:8000/ 就说明安装好了,后面还需要进行很多配置。

./build/env/bin/hue runserver

参考:

http://gethue.com/

https://github.com/cloudera/hue

http://ju.outofmemory.cn/entry/105162

http://itindex.net/detail/52831-hue

http://www.tuicool.com/articles/zIrqemB

http://blog.csdn.net/nsrainbow/article/details/43677077

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hue_config.html

时间: 2024-10-13 18:49:13

Hadoop 管理工具HUE配置的相关文章

Hadoop 管理工具HUE配置-HBase配置

1 前言 首先要陪只好HBase,可以参见http://www.cnblogs.com/liuchangchun/p/4096891.html,完全分布式类似 2 HBase配置 2.1 HUE 配置文件设置,找到hbase标签,配置如下 # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'. # Use full hostname with security

Hadoop 管理工具HUE配置-集成Unix用户和用户组

HUE安装完成之后,第一次登录的用户就是HUE的超级用户,可以管理用户,等等.但是在用的过程发现一个问题这个用户不能管理HDFS中由supergroup创建的数据. 虽然在HUE中创建的用户可以管理自己文件夹下面的数据/user/XXX.那么Hadoop superuser的数据怎么管理呢,HUE提供了一个功能就是将Unix的用户和Hue集成,这样用Hadoop superuser的用户登录到HUE中就能顺利的管理数据了. 下面几个步骤来进行集成 1 确保hadoop 这个用户组在系统之中 2

Hadoop 管理工具HUE配置-Hive配置

1 前言 首先要配置好Hive,可以参见:http://www.cnblogs.com/liuchangchun/p/4761730.html 2 hive配置 找到beeswax标签,不叫hive,配置如下属性,其中端口号要和hive-site.xml中的保持一致 hive-site.xml中配置thrift端口号 <property> <name>hive.server2.thrift.port</name> <value>19999</value

Hadoop 管理工具HUE配置-Yarn Resource Manager HA配置

安装HUE之后,需要配置很多东西才能将这个系统的功能发挥出来,因为Yarn是配置的HA模式,所以在配置HUE的时候,会有些不用,下面一段文字是官网拿来的 # Configuration for YARN (MR2) # ------------------------------------------------------------------------ [[yarn_clusters]] [[[default]]] # Whether to submit jobs to this cl

大数据web管理工具——HUE

一.概述 HUE是一个开源的Apache Hadoop UI系统,早期由Cloudera开发,后来贡献给开源社区.它是基于Python Web框架Django实现的.通过使用Hue我们可以通过浏览器方式操纵Hadoop集群. 原文地址:https://www.cnblogs.com/jiangbei/p/11877830.html

55.HUE管理工具

HUE管理工具 HUE是一个开源的Hadoop Ul系统,它基于Python WEB框架实现,通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据. 部署安装HUE3.11步骤: v 安装相关依赖包 # yum -y install python-devel cyrus-sasl-devel sqlite-devel libxml2-devel libxml2-devel libxslt-devel krb5-devel libffi-devel openssl-de

python 包管理工具 pip 的配置

近几年来,python的包管理系统pip 越来越完善, 尤其是对于 windows场景下,pip大大改善了python的易用性. https://www.cnblogs.com/yvivid/p/pip_setup.html 一.python 包管理工具 pip 安装 从 python 3.4开始就开始 内嵌 pip,但整合还不是很好. 如果 python版本还没有包含 pip,可通过下面地址 https://pip.pypa.io/en/stable/installing/ 下载并运行 get

Apache Ambari 2.4 发布,Hadoop 管理监控

Apache Ambari 2.4 发布了,Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控(腾云科技ty300.com).Ambari目前已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig. Hbase.Zookeper.Sqoop和Hcatalog等(基础教程qkxue.net). Apache Ambari 支持HDFS.MapReduce.Hive.Pig.Hbase.Zookeper.Sqoop和Hca

Centos7 安装配置OpenLdap服务及OpenLdap管理工具

我们上一篇文章中介绍了,Centos7+Openvpn使用Windows AD(LDAP)验证登录的配置介绍.说到LDAP服务,我们知道不止windows有,linux下也有,比如openldap,sambaLDAP服务,具体就不多介绍了,我们今天主要介绍一下Centos7 安装配置OpenLdap及Ldap管理工具等操作,为后面的Centos7+Openvpn+openldap验证登录做好基础. 我们首先配置一个指定源,我们源地址指向了阿里云的仓库源 cd /etc/yum.repos.d v