HFTP Guide

Introduction(说明)

HFTP is a Hadoop filesystem implementation that lets you read data from a remote Hadoop HDFS cluster. The reads are done via HTTP, and data is sourced from DataNodes. HFTP is a read-only filesystem, and will throw exceptions if you try to use it to write data or modify the filesystem state.

HFTP是使hadoop文件系统从远程hdfs集群读取数据的一种实现,读取时通过http协议完成的,并且数据源来自于datanodes。HFTP时一种只读文件系统,并且会抛出异常如果你尝试通过他去写数据或者修改文件系统状态。

HFTP is primarily useful if you have multiple HDFS clusters with different versions and you need to move data from one to another. HFTP is wire-compatible even between different versions of HDFS. For example, you can do things like: hadoop distcp -i hftp://sourceFS:50070/src hdfs://destFS:8020/dest. Note that HFTP is read-only so the destination must be an HDFS filesystem. (Also, in this example, the distcp should be run using the configuraton of the new filesystem.)

HFTP主要被用在如果你有多个不同版本的HDFS集群,并且你需要从一个集群移动数据到另一个集群时。HFTP时wire-compatible甚至在两个不同的HDFS版本之间。例如,你可以像这样做一些事:hadoop distcp -i hftp://sourceFS:50070/src hdfs://destFS:8020/dest.注意HFTP是只读的并且目标端必须是一个HDFS文件系统。(因此,在这个例子中,dictcp应该被运行在使用了新文件系统配置的集权中。)

An extension, HSFTP, uses HTTPS by default. This means that data will be encrypted in transit.

一个扩展,FSFTP,使用https协议,这意味着数据在传输过程中被加密的。

Implementation(实现)

The code for HFTP lives in the Java class org.apache.hadoop.hdfs.HftpFileSystem. Likewise, HSFTP is implemented in org.apache.hadoop.hdfs.HsftpFileSystem.

HFTP的代码编写在java类org.apache.hadoop.hdfs.HftpFileSystem.HSFTP的实现类是org.apache.hadoop.hdfs.HsftpFileSystem.

Configuration Options


Name


Description


dfs.hftp.https.port


the HTTPS port on the remote cluster. If not set, HFTP will fall back on dfs.https.port.


hdfs.service.host_ip:port


Specifies the service name (for the security subsystem) associated with the HFTP filesystem running at ip:port.

时间: 2024-10-01 01:46:44

HFTP Guide的相关文章

HDFS F ile System Shell Guide

Overview appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find get getfacl getfattr getmerge help ls lsr mkdir moveFromLocal moveToLocal mv put renameSnapshot rm rmdir rmr

ViewFs Guide

简介 文件浏览系统(ViewFs)提供了一个管理多个Hadoop文件系统命名空间(或者叫Namespace Volume)的方式.它对于有多个NameNode的联邦集群特别有用.ViewFs与Unix/Linux系统中client side mount tables类似.ViewFs可被用来创建个人命名空间视图,也可以每个集群一个公共的试图. 本指南描述了,在有多个集群的Hadoop系统中,每一个集群都可能联合起来形成多个命名空间.也描述了如何在联邦的HDFS中用ViewFs为每一个集群提供一个

EMC Networker And VMware Integration Guide

一.环境介绍 主机名称 IP 角色 版本 vcenter.xzxj.edu.cn 172.16.255.36 vcenter服务器 5.5 node01.xzxj.edu.cn 172.16.255.153 vsphere esxi 5.5 node02.xzxj.edu.cn 172.16.255.154 vsphere esxi 5.5 tsmbak.xzxj.edu.cn 172.16.255.80 networker服务器 8.2 ebr.xzxj.edu.cn 172.16.255.7

ThoughtWorks笔试题之Merchant's Guide To The Galaxy解析

一.背景 在某网站上看到ThoughtWorks在武汉招人,待遇在本地还算不错,就投递了简历.第二天HR就打开电话,基本了解了一下情况(工作环境不错,男人妹子比例:1:1,双休,六险一金,满一年年假15天,病假8天,月薪1W--2W).然后立马收到一封:Coding Assignment的笔试题目.网上搜索了一下,发现这个公司还是挺大的,公司面试流程是出了名的繁杂和苛刻.据说有8轮:电话面试=>笔试=>Homework=>结对编程(中午管饭)=>技术面试=>PM面试=>

guide dpdk

Welcome to DPDK Guide! Contents: Setting up DPDK Important Prerequisites Setting up repositories Red Hat Enterprise Linux Fedora Installing DPDK and related software Hugepages 2M Hugepages 1G Hugepages IOMMU Binding NIC drivers VFIO VFIO no-IOMMU UIO

SQL procedure User's Guide

1. Ordering the SELECT Statement: 1.select 2. From 3. Where 4. Group by 5. Having 6. Order by select Continent, sum(Population) from sql.countries group by Continent having Continent in ('Asia', 'Europe') order by Continent; 2. The OUTOBS=option limi

Linux Kernel - Debug Guide (Linux内核调试指南 )

http://blog.csdn.net/blizmax6/article/details/6747601 linux内核调试指南 一些前言 作者前言 知识从哪里来 为什么撰写本文档 为什么需要汇编级调试 ***第一部分:基础知识*** 总纲:内核世界的陷阱 源码阅读的陷阱 代码调试的陷阱 原理理解的陷阱 建立调试环境 发行版的选择和安装 安装交叉编译工具 bin工具集的使用 qemu的使用 initrd.img的原理与制作 x86虚拟调试环境的建立 arm虚拟调试环境的建立 arm开发板调试环

[笔记]A Practical Guide to Support Vector Classi cation

<A Practical Guide to Support Vector Classication>是一篇libSVM使用入门教程以及一些实用技巧. 1. Basic Kernels: (1)linear (2)polynomial (3)radial basis function (4)sigmoid 2. Scaling: Scaling对于SVM非常重要,可以避免某个维度上的值很大,会主导那些值很小的维度.另一个好处是避免复杂的数值计算.另外需要注意的是,在对training data和

(转)A Beginner&#39;s Guide To Understanding Convolutional Neural Networks Part 2

Adit Deshpande CS Undergrad at UCLA ('19) Blog About A Beginner's Guide To Understanding Convolutional Neural Networks Part 2 Introduction Link to Part 1 In this post, we’ll go into a lot more of the specifics of ConvNets. Disclaimer: Now, I do reali