FileSystem以标准输出格式显示Hadoop文件中的文件

//通过FileSystem API读取数据

//这里是以FileSystem以标准输出格式显示Hadoop文件中的文件

package com;

import java.io.InputStream;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

public class FileSystemCat{

/**

* @param args

*/

public static void main(String[] args) throws Exception{

// TODO Auto-generated method stub

String uri = args[0];

Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(URI.create(uri), conf);

InputStream in = null;

try{

in = fs.open(new Path(uri));

IOUtils.copyBytes(in, System.out, 4096, false);

}finally{

IOUtils.closeStream(in);

}

}

}

时间: 2024-12-19 12:05:47

FileSystem以标准输出格式显示Hadoop文件中的文件的相关文章

直接使用FileSystem以标准输出格式显示hadoop文件系统中的文件

package com.yoyosys.cebbank.bdap.service.mr; import java.io.IOException; import java.io.InputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IO

显示Hadoop文件系统中一组路径的文件信息

//显示Hadoop文件系统中一组路径的文件信息 //我们可以用这个程序来显示一组路径集目录列表的并集 package com; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.

文件_ _android从资源文件中读取文件流并显示的方法

======== 1   android从资源文件中读取文件流并显示的方法. 在android中,假如有的文本文件,比如TXT放在raw下,要直接读取出来,放到屏幕中显示,可以这样: private void doRaw(){ InputStream is = this.getResources().openRawResource(R.raw.ziliao); try{ doRead(is); }catch(IOException e){ e.printStackTrace(); } } pri

hadoop hdfs中删除文件恢复

hadoop的hdfs中删除的文件恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件存在了hdfs的.Trash文件夹中,恢复时只需要将该文件夹中文件拿出即可.具体操作如下: 1 设置trash 如果需要恢复hdfs中文件,就需要设置trash,hadoop的trash默认是关闭的.具体设置如下: <property>          <name>fs.trash.interval</name>          <value>10080

显示Hadoop文件系统中的路径的文件信息

FileSystem的listStatus方法的功能:列出目录中的内容 当传入的参数是一个文件时,它会转变成以数组的方式返回长度为1的FileStatus对象 当传入的参数是一个目录时,返回0或多个FileStatus对象,表示此目录中包含的文件和目录 如果指定一组路径,其执行结果相当于依次轮流传递每条路径并对其调用listStatus()方法,再将FileStatus对象数组累积存入同一数组中 注意FileUtil中stat2Paths()方法的使用,它将一个FileStatus对象数组转换为

hadoop map中获取文件/切片名称

//import org.apache.hadoop.mapreduce.InputSplit;//import org.apache.hadoop.mapreduce.lib.input.FileSplit; @SuppressWarnings("rawtypes") public static String getCityFromFileName(org.apache.hadoop.mapreduce.Mapper.Context context) throws IOExcepti

hadoop conf中xml文件修改

core-site.xml <?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property>-------指定NameN

python移动多个子文件中的文件到一个文件夹

1 import os 2 import os.path 3 import shutil 4 5 def listDir(dirTemp): 6 if None == dirTemp: 7 return 8 global nameList 9 if not os.path.exists(dirTemp): 10 print "file or directory isn't exist" 11 return 12 13 if os.path.isfile(dirTemp): 14 if

Cocos2d-x中android.mk文件中cpp文件的自动生成

1.这段代码下载自子龙山人,虽然没看懂,应该是通用版的.https://gist.github.com/andyque/6060595 LOCAL_PATH := $(call my-dir) include $(CLEAR_VARS) LOCAL_MODULE := game_shared LOCAL_MODULE_FILENAME := libgame #traverse all the directory and subdirectory define walk $(wildcard $(