hadoop 读取文件操作

  1. Path hdfsPath = new Path(args[0]);
  2. Configuration conf = new Configuration();
  3. FileSystem fs = FileSystem.get(hdfsPath.toUri(),conf);
  4. CompressionCodecFactory factory = new CompressionCodecFactory(conf);
  5. CompressionCodec codec = factory.getCodec(hdfsPath);
  6. FSDataInputStream inputStream = fs.open(hdfsPath);
  7. BufferedReader reader = null;
  8. try {
  9. if (codec == null) {
  10. reader = new BufferedReader(new InputStreamReader(inputStream));
  11. } else {
  12. CompressionInputStream comInputStream = codec.createInputStream(inputStream);
  13. reader = new BufferedReader(new InputStreamReader(comInputStream));
  14. }
  15. } catch (Exception e) {
  16. e.printStackTrace();
  17. }

hadoop 读取文件操作

时间： 2024-08-03 00:41:12

hadoop 读取文件操作的相关文章

【Python】python读取文件操作mysql

尾大不掉,前阵子做检索测试时,总是因为需要业务端操作db和一些其他服务,这就使得检索测试对环境和数据依赖性特别高,极大提高了测试成本. Mock服务和mysql可以很好的解决这个问题,所以那阵子做了两个工作: 1 使用公司的service框架Mock服务: 2 使用python语言Mock mysql数据. 部分1只需要了解公司框架即可进行编写,本文主要记录下python操作mysql的部分. 一 安装环境 安装python即需要的MySQLdb模块(yum install MySQL-pyth

c++读取文件操作之peek、>>和get

预备知识: fstream提供了三个类,用来实现c++对文件的操作.(文件的创建.读.写). ifstream -- 从已有的文件读 ofstream -- 向文件写内容 fstream -- 打开文件供读写 文件打开模式: ios::in 读 ios::out 写 ios::app 从文件末尾开始写 ios::binary 二进制模式 ios::nocreate 打开一个文件时,如果文件不存在,不创建文件. ios::noreplace 打开一个文件时,如果文件不存在,创建该文件 ios::t

hadoop基本文件操作

使用hadoop mapreduce已有些时日了,最近开始写一些自己的基础库.hadoop文件操作是必须的基本操作,使用文件操作命令往往比较繁琐,因此便写了一个简单的类.由于自己的基础库是根据自己的项目需求来写,因而并不完整.目前仅测试了最基本的上传.删除和下载操作,在后面的开发中会持续完善.现在共享出来给初学者作为参考,望大神不吝赐教. hadoop文件操作类及其测试类的百度云盘链接: http://pan.baidu.com/s/1c0g7CkC HadoopFile类的方法都会返回一个bo

关于一些对map和整行读取文件操作

public static void main(String[] args) { Map<String, String> map = new HashMap<String, String>();  map.put("1", "value1");  map.put("2", "value2");  map.put("3", "value3");    //第一种:普

java与python在处理大文件操作上的对比

1.问题描述 现在对一个2g的大文件,抽取第二列含有特点16个串的信息,并将这些含有特串的信息,写回到两个文件中 2.具体实现 (1)java代码 package naifen; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileReader; import java

java读取文件的基本操作

import java.io.FileInputStream; /** * 使用FileInputStream读取文件 */ public class FileRead { /** * @param args */ public static void main(String[] args) { // 读取文件操作 // 1.通过 fis.read()方法读取,一个字节一个字节读取,对数据进行循环遍历 // ReadFileToint(); // 2.通过fis.read(data,0,leng

XML文件操作（2）

2.DOM解析 1 //获得工厂 2 DocumentBuilderFactory dbf=DocumentBuilderFactory.newInstance(); 3 //获得解析对象 4 DocumentBuilder builder=dbf.nwDocumentBuilder(); 5 //读取资源文件 6 InputStream is=getResources().openRawResource(R.raw.books); 7 Document doc=builder.parse(is

C#中的文件操作2

1. 读取文件的方法: 1.  声明一个文件流: 目的是为了内存与文件之间的桥梁,可以进行数据的往来. FileStream fs = new FileStream(filename,FileMode.Open,FileAccess.Read,FileShare.None); 4个参数的意义   文件名 . 打开文件的方式 . 对文件进行什么样的操作 . 是否允许其他进程共享(值为FileShare.None的时候,谢绝共享) .注意,第2个参数要与第3个参数配对, 例如 Open 对应 Rea

java--正则表达式的应用：读取文件，获取其中的电话号码

1.正则表达式 正则表达式,又称 正规表示法 . 常规表示法 (英语:Regular Expression,在代码中常简写为regex.regexp或RE),计算机科学的一个概念.正则表达式使用单个字符串来描述.匹配一系列符合某个句法规则的字符串.在很多文本编辑器里,正则表达式通常被用来检索.替换那些符合某个模式的文本. 用到的一些特殊构造正则表达式的意义解析: ? 当该字符 紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的.非贪婪模式尽可能少的匹配