Hadoop webHDFS设置和使用说明

1.配置

  namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。

  在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属性:

  <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>

  2.使用说明

  访问namenode的hdfs使用50070端口,访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口,访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口,直接使用namenode的IP和端口进行所有的webhdfs操作,就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。

时间: 2024-10-07 03:24:54

Hadoop webHDFS设置和使用说明的相关文章

hadoop 动态设置调整日志级别

Hadoop急诊室的半小时:动态设置调整日志级别 技术 大数据蜗牛 2015.02.03 本文通过一个在实际工作中所遇到的线上问题来告诉广大数据从业者一条通俗有用的人生哲理:线上遇到这样的问题,千万要冷静,越是着急越容易出乱子!心急吃不了热豆腐. 十万火急 上周二,朋友公司的Hadoop集群服务不可用,从早上9点开始一直持续到12点.业务方催得比较急,希望尽快恢复,至少给个可以恢复的时间点.这种心情做过线上服务运维的同学应该都能理解.特别是在没有任何思路的情况下,就只能干着急! 症状了解 朋友联

[原创]Hadoop默认设置导致NameNode启动失败一例

看到市面上很多书在讲解Hadoop的时候都轻描淡写的提到了HDFS的设置问题.大多采取的是默认设置,最多也就是设置一些副本数量之类. 笔者在工作中遇到了这样一种情况:每次重启系统之后,NameNode就会消失. 重新尝试下面的命令: hdfs namenode –format sbin/start-all.sh 这样确实能够恢复Hadoop的运行,但是HDFS上面的数据会全部丢失.这显然不是我们想看到的. 仔细查找官方文档,发现hdfs-site.xml里面包含了HDFS的默认工作路径,竟然指向

思数云hadoop目录

全文检索.数据分析挖掘.推荐系统.广告系统.图像识别.海量存储.快速查询 l Hadoop介绍 n Hadoop来源与历史 n Hadoop版本 n Hadoop开源与商业 l HDFS系统架构 n NameNode功能与原理 n DataNode功能与原理 n SecondaryNameNode功能与原理 n HDFS读取写入流程 n 理解HDFS Block l Hadoop权限与安全 l Hadoop运行模式介绍 l 实验: n 搭建单机版.伪分布式.分布式集群 n Hadoop命令使用

配置高可用的Hadoop平台

1.概述 在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用).这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK(安装,启动,验证) HDFS+HA的结构图 角色分配 环境变量配置 核心文件配置 slave 启动命令(hdfs和yarn的相关命令) HA的切换 效果截图 下面我们给出下载包的链接地址: hadoop2.x下载地址 zookee

Hadoop之文件系统Shell

概述: 文件系统(FS)Shell包含各种类-Shell的命令,直接和Hadoop分布式文件系统(HDFS)交互,也支持对其他文件系统的支持,例如:本地文件系统FS,HFTP FS,S3 FS,和其他.FS Shell的调用: bin/hadoop fs <args> 所有的FS shell命令都要带URI路径作为参数,URI的格式是:scheme://authority/path.如果是HDFS,则scheme是hdfs,如果是本地文件系统,则scheme是file. scheme和auth

配置hadoop+pyspark环境

配置hadoop+pyspark环境 1.部署hadoop环境 配置hadoop伪分布式环境,所有服务都运行在同一个节点上. 1.1.安装JDK 安装jdk使用的是二进制免编译包,下载页面 下载jdk $ cd /opt/local/src/ $ curl -o jdk-8u171-linux-x64.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-

hadoop 集群搭建-suse linux 11

好久都没写了啊.感觉自己都不像是一个搞技术都了.来个存货吧! hadoop 集群搭建 3台机器 suse 系统 规划 IP 主机名 hostname hadoop角色10.96.91.93 namenode93 NameNode.SecondaryNameNode .ResourceManage. DataNode .NodeManager10.96.91.129 datanode129 DataNode NodeManager10.96.91.130 datanode130 DataNode

HADOOP监控

Hadoop负载均衡 均衡器(balancer)是一个Hadoop守护进程,它将块从忙碌的datanode移到相对空闲的datanode,从而重新分配块.同时坚持块副本放置策略,将副本分散到不同机架,以降低数据损坏率.它不断移动块,直到集群达到均衡,即每个datanode的使用率(该节点上已使用的空间与空间容量之间的比率)和集群的使用率(集群中已使用的空间与集群的空间容量之间的比率)非常接近,差距不超过给定的阈值. 为降低集群负荷,避免干扰其他用户,均衡器被设计为后台运行.在不同节点之间复制数据

【Hadoop大数据分析与挖掘实战】(一)----------P19~22

这是一本书的名字,叫做[Hadoop大数据分析与挖掘实战],我从2017.1开始学习 软件版本为Centos6.4 64bit,VMware,Hadoop2.6.0,JDK1.7. 但是这本书的出版时间为2016.1,待到我2017.1使用时,一部分内容已经发生了翻天覆地的变化. 于是我开始写这么一个博客,把这些记录下来. 我使用的软件版本为: 软件 版本 操作系统 CentOS 7 64bit-1611 虚拟机 VMware 12.5.2 Hadoop 2.7.3 JDK 1.8.0 本人大二