hadoop 文件 复制 移动 FileUtil.copy

FileSystem fs = FileSystem.get(conf);
Path pattern = new Path(resultViewPath + "phone*");
Path dir = new Path(dest);
if (!fs.exists(dir)) {      // 目标目录
fs.mkdirs(dir);
}
FileStatus[] status = fs.globStatus(pattern);   //  匹配正则表达式的文件集合
Path[] paths = FileUtil.stat2Paths(status);      //  转换为Path数组
for (Path i : paths) {                                  //   复制每个文件
FileUtil.copy(fs, i, fs, dir, false, conf);   // false 表示移动的时候不删除原路径文件
System.out.println(i);
}

时间: 2024-08-05 11:11:48

hadoop 文件 复制 移动 FileUtil.copy的相关文章

[软件推荐]快速文件复制工具(Limit Copy) V4.0 绿色版

快速文件复制工具(Limit Copy)绿色版是一款智能变频超快复制绿色软件. 快速文件复制工具(Limit Copy)功能比较完善,除了文件复制还可以智能变频,直接把要复制的文件拖入窗口即可,无需手动添加. 快速文件复制工具(Limit Copy)软件特色 1.断点续传 上次复制完了一部分的文件可以继续接着复制,续传前会校验已文件复制片段是否是指定源文件的一部分,如果你确定是一部分可以直接点击跳过校验,省去等待校验结果的时间. 2.智能变频 根据读写速度和独有算法智能计算并预测出目标驱动器未来

文件复制工具类

package com.renmai.util; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputS

将本地文件复制到复制到Hadoop文件系统

//将本地文件复制到复制到Hadoop文件系统 //目前,其他Hadoop文件系统写入文件时均不调用progress()方法. package com; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.co

dos文件(夹)复制命令:copy和xcopy

1.copy命令 将一份或多份文件复制到另一个位置. COPY [/D] [/V] [/N] [/Y | /-Y] [/Z] [/L] [/A | /B ] source [/A | /B] [+ source [/A | /B] [+ ...]] [destination [/A | /B]] source 指定要复制的文件. /A 表示一个 ASCII 文本文件. /B 表示一个二进位文件. /D 允许解密要创建的目标文件 destination 为新文件指定目录和/或文件名. /V 验证新

asp.net 文件复制或删除用相对路径,File.Copy中用相对路径,巧用相对路径复制文件

再复制文件 C#代码   File.Copy(Server.MapPath("被复制的文件相对路径"), Server.MapPath("目的位置相对路径"), true); 注意:第三个参数若为true,那么目标位置存在同名文件将被覆盖. C#代码   File.Copy(Server.MapPath("../../APPDIR/temp.jpg"), Server.MapPath("../../APPKIR/tteemmpp.jpg

cmd copy命令 文件复制

cmd copy命令 文件复制 作者: 字体:[增加 减小] 类型:转载 时间:2009-07-05我要评论 copy,中文含义为"复制",一个很容易见名知意的命令,它的作用是复制文件,用法十分简单:copy 源文件 目的路径. 假设,你需要把d:\test\test.txt这个文件复制到D盘根目录下,那么,使用 copy d:\test\test.txt d:\ 就可以轻易办到. 当然,这是最简单的情形,在实际使用中,还是会碰到十分复杂的情况的. 如果D盘根目录下已经存在了一个名为t

[Hadoop]数据复制DistCp

1.需求 我们项目中需要复制一个大文件,最开始使用的是hadoop cp命令,但是随着文件越来越大,拷贝的时间也水涨船高.下面进行hadoop cp与hadoop distcp拷贝时间上的一个对比.我们将11.9G的文件从data_group/adv/day=20170116下所有文件复制到tmp/data_group/adv/day=20170116/文件下 1.1 查看文件大小 hadoop fs -du -s -h data_group/adv/day=20170116 11.9 G da

java使用字节流和字符流实现文件复制

大家在Java开发中都会遇到文件复制的文件,众所周知,需要通过文件输入输出流实现. 那究竟该怎么做那,话不多说,直接上代码: 一,使用字节流复制文件 public class FileByteCopy {public static void main(String[] args) { FileByteCopy f= new FileByteCopy(); try { f.copy("d:/File/1.txt","d:/CopyFile/1.txt"); } cat

ProFTPD <=1.3.5 mod_copy 未授权文件复制漏洞

poc如下: #!/usr/bin/env python# coding=utf-8 """Site: http://www.beebeeto.com/Framework: https://github.com/n0tr00t/Beebeeto-framework""" import randomimport telnetlib from baseframe import BaseFramefrom utils.http import http