HDFS读写程序小测试

  WriteHdfs:

package aa;

import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

public class WriteHdfs {
    public static void main(String[] args) {
        Configuration conf = new Configuration();
        try {
            FileSystem fs = FileSystem.get(conf);
            Path f = new Path("ttt.txt");
            System.out.println(fs.isFile(f));
            System.out.println(f.toString());
            FSDataOutputStream os = fs.create(f, true);
            os.writeChars("test");
            os.flush();
            os.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

  ReadHdfs:

package aa;

import java.io.InputStream;

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;

public class ReadHdfs {
    public static void main(String[] args) throws Exception {
        String uri = "ttt.txt";
        Configuration conf = new Configuration();
    FileSystem fs = FileSystem. get(URI.create (uri), conf);
    InputStream in = null;
    try {
         in = fs.open( new Path(uri));
         IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
         IOUtils.closeStream(in);
        }
    }
}

  先写后读输出:

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.t e s t
时间: 2024-10-14 05:20:10

HDFS读写程序小测试的相关文章

python 程序小测试

对之前写的程序做简单的小测试 ... 1 # -*- encoding:utf-8 -*- 2 ''' 3 对所写程序做简单的测试 4 @author: bpf 5 ''' 6 def GameOver(N, scoreA, scoreB): 7 ''' 8 function: 定义一局排球比赛的结束条件 9 N: 代表当前局次(第五局为决胜局) 10 前四局,每个队只有在赢得至少25分,且同时超过对方2分时才胜一局 11 第五局,每个队只有在赢得至少15分,且同时超过对方2分时才胜一局 12

微信+WeTest:小程序云端测试系统上线

日前,微信新增小程序测试系统,可便于开发者检测小程序缺陷,评估小程序产品质量.在小程序发布之前,开发者可将小程序代码提交到测试系统,在不同型号的手机真机上运行,执行完毕后自动生成测试报告.小程序云端测试平台,由WeTest提供基础支持,下载"微信开发者工具"即可使用. 小程序测试报告示例:  一. 云真机测试 Beta 为了方便广大开发者检测小程序程序缺陷.评估小程序产品质量,微信提供了免费的云真机测试环境以及一整套测试方案.在小程序交付到真实用户手中使用之前,你可以将小程序分发到云真

程序员心理小测试:你是否患上抑郁症?

前几天,华为又一员工跳楼,这多少给程序员的我们又一次心理上的警钟,我们不仅要多多注意自己的身体,也要时刻关心一下自己的心理问题,进行适当的调整. 从选择了计算机行业的那一刻起,我们就开始了与鼠标.键盘.显示器长期为伍的生活.多少程序员为了生存,终日坐在电脑面前埋头苦干,很少有时间去关心自己的身体状况和心理疾病.也正因为这样,程序员的健康状况和心理状况常常让人担忧.如果自己不注意,等到其中的危害表现出来时往往已经有些迟了. 作为程序员,所面临的心理压力的确是相当大的,开发任务的压力,项目进度的压力

小程序本地测试没有问题,苹果正常,安卓无法发送请求?

小程序本地测试没有问题,苹果正常,安卓无法发送请求,https ssl证书正常. Page({ data:{ height:height, width:width, }, onLoad:function(options){ // 页面初始化 options为页面跳转所带来的参数 wx.login({ success: function (loginres) { code = loginres.code; wx.getUserInfo({ withCredentials:true, success

大数据系列文章-Hadoop的HDFS读写流程(二)

在介绍HDFS读写流程时,先介绍下Block副本放置策略. Block副本放置策略 第一个副本:放置在上传文件的DataNode:如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点. 第二个副本:放置在与第一个副本不同的机架的节点上. 第三个副本:与第二个副本相同机架的节点. 更多副本:随机节点. HDFS写流程 客户端发请求给NameNode,我想保存一个文件A,这时候在NameNode会有一个标识,标识为A_copy(文件不可用). 根据副本放置策略,返回三个副本的可放置位置列表

gdb调试运行时的程序小技巧

使用gdb调试运行时的程序小技巧 标签: 未分类 gdb pstack | 发表时间:2012-10-15 04:32 | 作者:士豪 分享到: 出处:http://rdc.taobao.com/blog/cs 原创文章,欢迎转载.转载请注明:转载自淘宝核心系统团队博客,谢谢! 原文链接地址: 使用gdb调试运行时的程序小技巧 下面介绍我调试时经常遇到的三种问题,如果大家也有类似的问题交流一下解决方法: 情景1:在不中止程序服务的情况下,怎么调试正在运行时的程序 情景2:需要同时看几个变量的值或

[Python]threading local 线程局部变量小测试

概念 有个概念叫做线程局部变量,一般我们对多线程中的全局变量都会加锁处理,这种变量是共享变量,每个线程都可以读写变量,为了保持同步我们会做枷锁处理.但是有些变量初始化以后,我们只想让他们在每个线程中一直存在,相当于一个线程内的共享变量,线程之间又是隔离的.python threading模块中就提供了这么一个类,叫做local. 多线程中共享变量和局部变量的区别我画两个小图,简单描述下(作图能力一般,请见谅,概念性的东西大家可以google下,很多好文章) 全局变量 线程局部变量 对比: 下面是

【C++】【一日一练】读写文件小实例【20140510】

需要反省,说好一日一练的,昨天周五就偷懒出去逛了逛...吾当一日三省吾身... 今天的练习是写一个小程序,需要用到文件的读写,不过越写越长,又用到了很多乱七八糟的内置类什么的,就当是复习了吧,大概涉及到以下几个知识: enum fstream stringstream vector 渣程序如下: #include <iostream> #include <fstream> #include <string> #include <sstream> // str

[转]使用gdb调试运行时的程序小技巧

原创文章,欢迎转载.转载请注明:转载自淘宝核心系统团队博客,谢谢!原文链接地址:使用gdb调试运行时的程序小技巧 下面介绍我调试时经常遇到的三种问题,如果大家也有类似的问题交流一下解决方法:情景1:在不中止程序服务的情况下,怎么调试正在运行时的程序情景2:需要同时看几个变量的值或者批量查看多个core文件的堆栈信息怎么办情景3:遇到需要查看.队列.链表.树.堆等数据结构里的变量怎么办1. 情景1:在不中止程序服务的情况下,怎么调试正在运行时的程序我们在生产环境或者测试环境,会遇到一些异常,我们需