直接使用FileSystem以标准输出格式显示hadoop文件系统中的文件

package com.yoyosys.cebbank.bdap.service.mr;

import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 *
 * @author Administrator
 *
 */
//直接使用FileSystem以标准输出格式显示hadoop文件系统中的文件
public class FileSystemCat {
    public static void main(String[] args) throws IOException {
        String uri = args[0];
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        InputStream  in = null;
        try {
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in, System.out, 4094,false);
        } catch (Exception e) {
            // TODO: handle exception
            IOUtils.closeStream(in);
        }
    }

}
时间: 2024-08-28 19:08:34

直接使用FileSystem以标准输出格式显示hadoop文件系统中的文件的相关文章

FileSystem以标准输出格式显示Hadoop文件中的文件

//通过FileSystem API读取数据 //这里是以FileSystem以标准输出格式显示Hadoop文件中的文件 package com; import java.io.InputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import o

显示Hadoop文件系统中一组路径的文件信息

//显示Hadoop文件系统中一组路径的文件信息 //我们可以用这个程序来显示一组路径集目录列表的并集 package com; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.

显示Hadoop文件系统中的路径的文件信息

FileSystem的listStatus方法的功能:列出目录中的内容 当传入的参数是一个文件时,它会转变成以数组的方式返回长度为1的FileStatus对象 当传入的参数是一个目录时,返回0或多个FileStatus对象,表示此目录中包含的文件和目录 如果指定一组路径,其执行结果相当于依次轮流传递每条路径并对其调用listStatus()方法,再将FileStatus对象数组累积存入同一数组中 注意FileUtil中stat2Paths()方法的使用,它将一个FileStatus对象数组转换为

使用seek()方法,将Hadoop文件系统中的一个文件在标准输出上显示两次

//使用seek()方法,将Hadoop文件系统中的一个文件在标准输出上显示两次 package com; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apac

hadoop hdfs中删除文件恢复

hadoop的hdfs中删除的文件恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件存在了hdfs的.Trash文件夹中,恢复时只需要将该文件夹中文件拿出即可.具体操作如下: 1 设置trash 如果需要恢复hdfs中文件,就需要设置trash,hadoop的trash默认是关闭的.具体设置如下: <property>          <name>fs.trash.interval</name>          <value>10080

hadoop conf中xml文件修改

core-site.xml <?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property>-------指定NameN

hadoop map中获取文件/切片名称

//import org.apache.hadoop.mapreduce.InputSplit;//import org.apache.hadoop.mapreduce.lib.input.FileSplit; @SuppressWarnings("rawtypes") public static String getCityFromFileName(org.apache.hadoop.mapreduce.Mapper.Context context) throws IOExcepti

从Hadoop URL中读取数据

要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据.一般的格式如下: 1.      InputStream in = null; 2.  try { 3.       in = new URL("hdfs://host/path").openStream(); 4.       // process in 5.  } finally { 6.       IOUtils.closeStream(in); 7.  }

Hadoop学习笔记(3) Hadoop文件系统二

1 查询文件系统 (1) 文件元数据:FileStatus,该类封装了文件系统中文件和目录的元数据,包括文件长度.块大小.备份.修改时间.所有者以及版权信息.FileSystem的getFileStatus()方法用于获取文件或目录的FileStatus对象. 例:展示文件状态信息 public class ShowFileStatusTest{ private MiniDFSCluster cluster; private FileSystem fs; @Before public void