hafs的java_api(转载）

转载自：http://www.cuiweiyou.com/1405.html

public class TestHdfs {
    　　　　private FileSystem hdfs;
    　　　　private Configuration conf;
    　　　　
    　　@Test
    　　// 1 创建空文件
    　　public void testCreateNewFile() throws Exception {
    　　　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");　　　　// core-site.xml中到配置
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　
    　　　　hdfs = FileSystem.get(conf);
    　　　　//创建空文件
    　　　　hdfs.createNewFile(new Path("hdfs:/newfile.txt"));
    　　　　hdfs.close();
    　　}
    　　
    　　@Test
    　　// 2 遍历指定目录及其子目录内的文件
    　　public void testListFiles() throws Exception {
    　　　　// 1.配置器
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　// 2.文件系统
    　　　　hdfs = FileSystem.get(conf);
    　　　　// 3.遍历HDFS上的文件
    　　　　RemoteIterator<LocatedFileStatus> fs = hdfs.listFiles(new Path("hdfs:/"), true);
    　　　　while(fs.hasNext()){
    　　　　　　System.out.println(fs.next());
    　　　　}
    　　　　hdfs.close();
    　　}

    　　@Test
    　　// 3 查看目录/文件状态
    　　　　public void listStatus() throws Exception {
    　　　　　　　　// 1.创建配置器
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　
    　　　　// 2.创建文件系统
    　　　　hdfs = FileSystem.get(conf);
    　　　　// 3.遍历HDFS上的文件和目录
    　　　　FileStatus[] fs = hdfs.listStatus(new Path("hdfs:/"));
    　　　　if (fs.length > 0) {
    　　　　　　for (FileStatus f : fs) {
    　　　　　　　　showDir(f);
    　　　　　　}
    　　　　}else{
    　　　　　　　　System.out.println("nothing...");
    　　　　}
    　　　　hdfs.close();
    　　　　}
    　　
    　　// 4 判断是目录，还是文件
    　　private void showDir(FileStatus fs) throws Exception {
    　　　　Path path = fs.getPath();
    　　　　System.out.println(path);
    　　　　// 如果是目录
    　　　　if (fs.isDirectory()) {
    　　　　　　FileStatus[] f = hdfs.listStatus(path);
    　　　　　　if (f.length > 0) {
    　　　　　　　　for (FileStatus file : f) {
    　　　　　　　　　　showDir(file);
    　　　　　　　　}
    　　　　　　}
    　　　　}
    　　　　// 如果是文件
    　　　　if (fs.isFile()){
    　　　　　　　　//fs.getXXX();
    　　　　　　long time = fs.getModificationTime();
    　　　　　　System.out.println("HDFS文件的最后修改时间:"+new Date(time));
    　　　　}
    　　}
    　　
    　　@Test
    　　// 5 判断存在
    　　public void testExists() throws Exception {
    　　　　// 1.创建配置器
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　//2.创建文件系统
    　　　　hdfs = FileSystem.get(conf);
    　　　　//3.创建可供hadoop使用的文件系统路径
    　　　　Path file = new Path("hdfs:/test.txt");
    　　　　// 4.判断文件是否存在(文件目标路径）　　
    　　　　System.out.println("文件存在:" + hdfs.exists(file));
    　　　　hdfs.close();
    　　}
    　　
    　　@Test
    　　// 6 向文件写入数据
    　　public void testAppend() throws Exception {
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　/* 在hdfs-site.xml中配置了没啥用
    org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):
    　　　　Failed to APPEND_FILE /newfile.txt for DFSClient_NONMAPREDUCE_-610333487_1 on 127.0.0.1
    　　　　because this file lease is currently owned by DFSClient_NONMAPREDUCE_1541357537_1 on 127.0.0.1
    　　　　*/
    　　　　conf.set("dfs.client.block.write.replace-datanode-on-failure.policy" ,"NEVER" );
    　　　　conf.set("dfs.client.block.write.replace-datanode-on-failure.enable" ,"true" );
    　　　　/*
    java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.
    (Nodes: current=[DatanodeInfoWithStorage[127.0.0.1:50010,DS-b1c29ca4-24f7-4447-a12b-5ae261663431,DISK]],
    original=[DatanodeInfoWithStorage[127.0.0.1:50010,DS-b1c29ca4-24f7-4447-a12b-5ae261663431,DISK]]).
    The current failed datanode replacement policy is DEFAULT, and a client may configure this via ‘dfs.client.block.write.replace-datanode-on-failure.policy‘ in its configuration.
     　　　　　　　　*/
    　　　　conf.set("dfs.support.append", "true");
    　　　　
    　　　　　　　　hdfs = FileSystem.get(conf);
    　　　　　　　　Path path = new Path("hdfs:/newfile.txt");
    　　　　　　　　if (!hdfs.exists(path)) {
    　　　　　　　　　　　　hdfs.create(path);
    　　　　　　　　　　　　hdfs.close();
    　　　　　　　　　　　　hdfs = FileSystem.get(conf);
    　　　　　　　　}
    　　　　　　　　
    　　　　　　　　FSDataOutputStream out = hdfs.append(path);
    　　　　　　　　out.write("4每次执行次方法只能有一个write语句？！！！\n".getBytes("UTF-8"));
    　　　　　　　　out.write("5每次执行次方法只能有一个write语句？！！！\n".getBytes("UTF-8"));
    　　　　　　　　out.close();
    　　　　　　　　
    　　　　　　　　hdfs.close();
    　　}
    　　
    　　@Test
    　　// 7 读文件
    　　public void testOpen() throws Exception {
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　
    　　　　hdfs = FileSystem.get(conf);
    　　　　Path path = new Path("hdfs:/newfile.txt");
    　　　　FSDataInputStream is = hdfs.open(path);
    　　　　FileStatus stat = hdfs.getFileStatus(path);
    　　　　byte[] buffer = new byte[Integer.parseInt(String.valueOf(stat.getLen()))];
    　　　　is.readFully(0, buffer);
    　　　　is.close();
    　　　　hdfs.close();
    　　　　System.out.println(new String(buffer));
    　　}
    　　
    　　@Test
    　　// 8 重命名文件
    　　public void testRename() throws Exception {
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　hdfs = FileSystem.get(conf);
    　　　　
    　　　　//重命名：fs.rename(源文件，新文件)
    　　　　boolean rename = hdfs.rename(new Path("/newfile.txt"), new Path("/test.txt"));
    　　　　System.out.println(rename);
    　　　　
    　　　　hdfs.close();
    　　}
    　　
    　　@Test
    　　// 8 删除目录/文件
    　　public void testDelete() throws Exception {
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　hdfs = FileSystem.get(conf);
    　　　　
    　　　　//判断删除（路径，true=非空也删除。false=非空时不删除，抛RemoteException、IOException异常）
    　　　　boolean delete = hdfs.delete(new Path("hdfs:/test.txt"), true);
    　　　　System.out.println("执行删除："+delete);
    　　　　//FileSystem关闭时执行
    　　　　boolean exit = hdfs.deleteOnExit(new Path("/out.txt"));
    　　　　System.out.println("执行删除："+exit);
    　　　　
    　　　　hdfs.close();
    　　}
    　　
    　　　　@Test
    　　　　// 10 创建目录/文件。父目录不存在则直接创建
    　　public void testCreate() throws Exception {
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　hdfs = FileSystem.get(conf);
    　　　　
    　　　　// 使用HDFS数据输出流（写）对象 在HDSF上根目录创建一个文件夹，其内再创建文件
    　　　　FSDataOutputStream out = hdfs.create(new Path("hdfs:/vigiles/eminem.txt"));
    　　　　// 在文件中写入一行数据，必须使用UTF-8
    　　　　out.write("痞子阿姆，Hello !".getBytes("UTF-8"));
    　　　　out.flush();
    　　　　
    　　　　out = hdfs.create(new Path("/vigiles/alizee.txt"));
    　　　　out.write("艾莉婕，Hello !".getBytes("UTF-8"));
    　　　　
    　　　　out.close();
    　　　　
    　　　　FSDataInputStream is = hdfs.open(new Path("hdfs:/vigiles/alizee.txt"));
    　　　　FileStatus stat = hdfs.getFileStatus(new Path("hdfs:/vigiles/alizee.txt"));
    　　　　byte[] buffer = new byte[Integer.parseInt(String.valueOf(stat.getLen()))];
    　　　　is.readFully(0, buffer);
    　　　　is.close();
    　　　　hdfs.close();
    　　　　System.out.println(new String(buffer));
    　　}
    　　　　
    　　@Test
    　　// 11 创建目录
    　　public void testMkdir() throws Exception {
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　hdfs = FileSystem.get(conf);
    　　　　//创建目录
    　　　　hdfs.mkdirs(new Path("hdfs:/eminem1"));
    　　　　hdfs.mkdirs(new Path("hdfs:/eminem2"));
    　　　　hdfs.mkdirs(new Path("hdfs:/eminem3"));
    　　　　hdfs.close();
    　　}
    　　
    　　@Test
    　　// 12 文件备份状态
    　　public void testGetFileBlockLocations() throws Exception {
    　　　　//1.配置器
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　//2.文件系统
    　　　　hdfs = FileSystem.get(conf);
    　　　　//3.已存在的，必须是文件
    　　　　Path path = new Path("hdfs:/vigiles/alizee.txt");
    　　　　//4.文件状态
    　　　　FileStatus status = hdfs.getFileStatus(path);
    　　　　//5.文件块
    　　　　//BlockLocation[] blockLocations = fs.getFileBlockLocations(status, 0, status.getLen());  //方法1，传入文件的FileStatus
    　　　　BlockLocation[] blockLocations = hdfs.getFileBlockLocations(path, 0, status.getLen());　　//方法2，传入文件的Path
    　　　　int blockLen = blockLocations.length;
    　　　　System.err.println("块数量："+blockLen);　　//如果文件不够大，就不会分块，即得到1
    　　　　// 遍历文件块到信息
    　　　　for (int i = 0; i < blockLen; i++) {
    　　　　　　//得到块文件大小
    　　　　　　long sizes = blockLocations[i].getLength();
    　　　　　　System.err.println("块大小："+sizes);
    　　　　　　
    　　　　　　//按照备份数量得到全部主机名
    　　　　　　String[] hosts = blockLocations[i].getHosts();
    　　　　　　for (String host : hosts) {
    　　　　　　　　System.err.println("主机名："+host);
    　　　　　　}
    　　　　　　
    　　　　　　//按照备份数量得到全部主机名
    　　　　　　String[] names = blockLocations[i].getNames();
    　　　　　　for (String name : names) {
    　　　　　　　　System.err.println("IP："+ name);
    　　　　　　}
    　　　　}
    　　　　
    　　　　hdfs.close();
    　　}

    　　@Test
    　　// 13 上传文件
    　　public void testCopyFromLocalFile() throws Exception {
    　　　　// 1.创建配置器
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　//2.创建文件系统
    　　　　hdfs = FileSystem.get(conf);
    　　　　//3.创建可供hadoop使用的文件系统路径
    　　　　Path src = new Path("file:/root/xx.txt"); //本地目录/文件
    　　　　Path dst = new Path("hdfs:/");  //目标目录/文件
    　　　　// 4.拷贝本地文件上传（本地文件，目标路径）
    　　　　hdfs.copyFromLocalFile(src, dst);
    　　　　System.out.println("文件上传成功至:" + conf.get("fs.default.name"));
    　　　　// 5.列出HDFS上的文件
    　　　　FileStatus[] fs = hdfs.listStatus(dst);
    　　　　for (FileStatus f : fs) {
    　　　　　　System.out.println(f.getPath());
    　　　　}
    　　　　
    　　　　hdfs.close();
    　　}
    　　
    　　@Test
    　　// 14 下载文件到本地
    　　public void testCopyToLocalFile() throws Exception {
    　　　　conf = new Configuration();
    　　　　conf.set("fs.defaultFS", "hdfs://localhost:9000");
    　　　　conf.set("mapred.jop.tracker", "localhost:9001");
    　　　　
    　　　　hdfs = FileSystem.get(conf);
    　　　　//创建HDFS源路径和本地目标路径
    　　　　Path src = new Path("hdfs:/xx.txt");  //目标目录/文件
    　　　　Path dst = new Path("file:/root/桌面/new.txt"); //本地目录/文件
    　　　　//拷贝本地文件上传（本地文件，目标路径）
    　　　　hdfs.copyToLocalFile(src, dst);
    　　　　
    　　　　hdfs.close();
    　　}
    }
时间： 2024-10-08 05:08:35

hafs的java_api(转载）的相关文章

【转载】C++拷贝构造函数(深拷贝，浅拷贝)

对于普通类型的对象来说,它们之间的复制是很简单的,例如:int a=88;int b=a; 而类对象与普通对象不同,类对象内部结构一般较为复杂,存在各种成员变量.下面看一个类对象拷贝的简单例子. #include <iostream>using namespace std;class CExample {private:     int a;public:     CExample(int b)     { a=b;}     void Show ()     {        cout<

门控时钟-理论分析 ---- 转载

转载自:http://www.chipsbank.com/news_detail/newsId=123.html 门控的基本要求: 1. 所需要的沿(对于正沿触发的寄存器是正沿,对于负沿触发的寄存器是负沿)不增加,不减少: 1. 不会产生毛刺: 1. 使用后功耗要能够降低: 1. 最好面积还会减小. 1. 上升沿触发的门控时钟的结构研究:应用与上升沿触发的寄存器的门控. 1. 直接与门结构: 1. 高电平使能Latch + 与门结构: 1. 低电平使能Latch + 与门结构: 1. 波形研究:

浅谈Java中的equals和==(转载)

在初学Java时,可能会经常碰到下面的代码: 1 String str1 = new String("hello"); 2 String str2 = new String("hello"); 3 4 System.out.println(str1==str2); 5 System.out.println(str1.equals(str2)); 为什么第4行和第5行的输出结果不一样?==和equals方法之间的区别是什么?如果在初学Java的时候这个问题不弄清楚,就

JVM学习（2）——技术文章里常说的堆，栈，堆栈到底是什么，从os的角度总结--转载http://www.cnblogs.com/kubixuesheng/p/5202561.html

转载自---http://www.cnblogs.com/kubixuesheng/p/5202561.html 俗话说,自己写的代码,6个月后也是别人的代码--复习!复习!复习!涉及到的知识点总结如下: 堆栈是栈 JVM栈和本地方法栈划分 Java中的堆,栈和c/c++中的堆,栈 数据结构层面的堆,栈 os层面的堆,栈 JVM的堆,栈和os如何对应 为啥方法的调用需要栈 属于月经问题了,正好碰上有人问我这类比较基础的知识,无奈我自觉回答不是有效果,现在深入浅出的总结下: 前一篇文章总结了:JV

GitHub超详细图文攻略 - Git客户端下载安装 GitHub提交修改源码工作流程 Git分支 标签 过滤 Git版本工作流（转载）

最近听同事说他都在使用GitHub,GitHub是程序员的社区,在里面可以学到很多书上学不到的东西,所以最近在准备入手这方面的知识去尝试学习,正好碰到这么详细完整的文章,就转载了,希望对自己和大家有帮助. GitHub操作总结 : 总结看不明白就看下面的详细讲解. GitHub操作流程 : 第一次提交 : 方案一 : 本地创建项目根目录, 然后与远程GitHub关联, 之后的操作一样; -- 初始化Git仓库 :git init ; -- 提交改变到缓存 :git commit -m 'desc

2.EasyUI学习总结(二)——easyloader分析与使用(转载)

本文转载自:http://www.cnblogs.com/haogj/archive/2013/04/22/3036685.html 使用脚本库总要加载一大堆的样式表和脚本文件,在easyui 中,除了可以使用通常的方式加载之外,还提供了使用 easyloader 加载的方式.这个组件主要是为了按需加载组件而诞生.什么情况下使用它呢? 你觉得一次性导入 easyui 的核心 min js 和 css 太大 你只用到 easyui 的其中几个组件 你想使用其中的一个组件,但是你又不知道这个组件依赖

Data guard概念篇一(转载)

本文转载至以下链接,感谢作者分享! http://tech.it168.com/db/2008-02-14/200802141545840_1.shtml 一.Data Guard配置(Data Guard Configurations) Data Guard是一个集合,由一个primary数据库(生产数据库)及一个或多个standby数据库(最多9个)组成.组成Data Guard的数据库通过Oracle Net连接,并且有可能分布于不同地域.只要各库之间可以相互通信,它们的物理位置并没有什么

【转载】GBDT（MART） 迭代决策树入门教程 | 简介

      转载地址:http://blog.csdn.net/w28971023/article/details/8240756        GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案.它在被提出之初就和SVM一起被认为是泛化能力(generalization)较强的算法.近些年更因为被用于搜索排

LIB和DLL的区别与使用（转载）

转载自:http://www.cppblog.com/amazon/archive/2009/09/04/95318.html 共有两种库:一种是LIB包含了函数所在的DLL文件和文件中函数位置的信息(入口),代码由运行时加载在进程空间中的DLL提供,称为动态链接库dynamic link library.一种是LIB包含函数代码本身,在编译时直接将代码加入程序当中,称为静态链接库static link library.共有两种链接方式:动态链接使用动态链接库,允许可执行模块(.dll文件或.e