Ubuntu 14.10 下Hadoop HttpFS 配置

  因为hadoop集群中需要配置一个图形化管理数据的截面,后来找到HUE,那么在配置HUE的过程中,发现需要配置httpfs,因为配置了httpfs,hue才能去操作hdfs中的数据。

  HttpFs能干啥呢,它可以使你能在浏览器中管理HDFS上的文件,例如在HUE中;它还提供了一套REST风格的API用来管理HDFS

1 集群环境

Ubuntu-14.10

openjdk-7

hadoop-2.6.0 HA(双NN)

hue-3.8.1(development)

2 安装

因为hadoop中自带了httpfs所以,这里不需要下载其他包,只需要进行一下配置

2.1 core-site.xml,添加如下

      <property>
              <name>hadoop.proxyuser.hadoop.hosts</name>
              <value>*</value>
              <description>第二个hadoop是启动httpfs的用户名</description>
      </property>  

      <property>
              <name>hadoop.proxyuser.hadoop.groups</name>
              <value>*</value>
              <description>第二个hadoop是启动httpfs的用户组名</description>
      </property>

注意:hadoop.proxyuser.{hadoop}.hosts第二个是启动httpfs的用户名

如果是需要配置用户代理,需要在httpfs-site.xml中添加。

到此配置完毕,启动httpfs,进入hadoop sbin下,运行

httpfs.sh start

启动成功后jps会多一个Bootstrap 进程。

浏览器访问http://localhost:14000/ 
页面显示:HttpFs service, service base URL at /webhdfs/v1. 根目录为:/webhdfs/v1

参考:

http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html

http://duguyiren3476.iteye.com/blog/2209388

http://blog.cheyo.net/90.html

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html

http://blog.csdn.net/ganglia/article/details/25902873

时间: 2024-09-28 18:56:49

Ubuntu 14.10 下Hadoop HttpFS 配置的相关文章

Ubuntu 14.10 下Hadoop 错误集

1 FATAL org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist. 这个错误导致启动不了DFSZKFailoverController,从而不能选举出Active Node,导致了Hadoop两个NameNode都是Standby,我是这样做的 停掉Hadoop所有进程,然后重新格式化Zookeeper hdfs zkfc -for

Ubuntu 14.10 下Hive配置

1 系统环境 Ubuntu 14.10 JDK-7 Hadoop 2.6.0 2 安装步骤 2.1 下载Hive 我第一次安装的时候,下载的是Hive-1.2.1,配置好之后,总是报错 [ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was exp

Ubuntu 14.04下NFS安装配置

Ubuntu 14.04下NFS安装配置 参考:http://www.linuxidc.com/Linux/2013-08/89154.htm 1.执行命令:sudo apt-get install nfs-kernel-server ; 2.执行命令:mkdir /home/jacobxu/nfs-jacoxu 建立一个nfs服务的专有的文件夹; 3.建立好文件夹后,接着执行命令:sudo vi /etc/exports 配置nfs; 4.在文章的最后一行添加:/home/jacobxu/nf

Ubuntu 14.02下编译及配置apache2.4(python CGI)

Ubuntu 14.02下编译及配置apache2.4(python CGI): # 下载apache2.4源码包 wget http://mirrors.cnnic.cn/apache//httpd/httpd-2.4.12.tar.gz # 安装apr依赖库 apt-get install libapr1 libaprutil1 libapr1-dev libaprutil1-dev # 解压并编译安装 tar -xvf httpd-2.4.12.tar.gz cd httpd-2.4.12

Ubuntu 14.10 下ZooKeeper+Hadoop2.6.0+HBase1.0.0 的HA机群高可用配置

1 硬件环境 Ubuntu 14.10 64位 2 软件环境 openjdk-7-jdk hadoop 2.6.0 zookeeper-3.4.6 hbase-1.0.0 3 机群规划 3.1 zookeeper配置-机器结点 192.168.1.100 1421-0000192.168.1.106 1421-0003192.168.1.107 1421-0004192.168.1.108 1421-0005192.168.1.109 1421-0006 3.2 hadoop配置-机器结点 19

Ubuntu 14.10 server服务器版配置无线上网

今天将在家里的"废弃"的笔记本电脑上装了Ubuntu 14.10 server服务器版,作为自己的一台小型服务器 (安装可参照: http://wenku.baidu.com/link?url=aw0KaY-RUVusdbIkJQsBtlQTDQDdh9qqId0mUrAmrQb6l2Hfsn3AJs7PN3LNFXhiak3oQtKKHRgWlgzNkXKXiWtceCET9Q0xVykIWGAsPce http://www.jb51.net/os/85856.html ) 安装成功

ubuntu 14.10相关有用的配置

这些时间做ubuntu下的开发,刚做好项目,ubuntu 14.04就死机挂掉了,开机重启进入busybox,尝试了很多种方法,不能成功启动,本质上是文件系统损坏了.看来,一定要注意备件呀:正好,直接安装14.10的版本,看看最新的技术怎么样. 一  有关双显卡切换,花屏的问题,解决方案: 直接用U盘安装上ubuntu 14.10,最明显的是视觉系统效果提高了不少,如下图: 但显卡驱动不好,鼠标指针不停地闪烁,屏幕上全是鼠标指针的影子,少许的花屏,特别我直接用HDMI接了一个27的大屏,直接桌面

Ubuntu 14.10 下DokuWiki安装

环境说明: Ubuntu 14.10 64位 1 下载DokuWiki:http://download.dokuwiki.org/ 2 解压到 /var/www/html下面 3 如果没有安装Apace和PHP,那么需要安装 sudo apt-get install apache2 php5 4 解压完dokuwiki之后,还需要设置它的权限,增加写的权限,要不然instal的时候会报错 5 启动apace,浏览器打开localhost/dokuwiki,会跳转到安装界面,输入一些信息之后,就可

Ubuntu 14.10 下Eclipse安装Hadoop插件

准备环境 1 安装好了Hadoop,之前安装了Hadoop 2.5.0,安装参考http://www.cnblogs.com/liuchangchun/p/4097286.html 2 安装Eclipse,这个直接在其官网下载即可 安装步骤 1 下载Eclipse插件,我找的是Hadoop 2.2 的插件,在Hadoop 2.5 下可以正常用,获取插件这里有两种方式 1.1 一是自己下载源码自己编译,过程如下 首先,下载eclipse-hadoop的插件,网址是https://github.co