003、java连接Hadoop2.5.1获取文件系统信息

说明:hadoop安装,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。

软件:Myeclipse-2014-GA,hadoop-2.5.1.tar.gz,hadoop-eclipse-plugin-2.5.0.jar

软件下载地址:链接: http://pan.baidu.com/s/1ntuUhux 密码: stok

1、首先把hadoop-eclipse-plugin-2.5.0.jar拷贝到Myeclipse的插件目录里面

  

2、启动myeclipse,然后看看插件是否安装成功

  

  

3、配置插件信息,如图所示:

  

  

注:Host是集群主机IP,port:50020是默认的,右边Port是集群core-site.xml里面配置的信息

4、配置完成之后,新建一个项目,这里我建的是java项目

  

 1 package hadoop;
 2
 3 import java.io.IOException;
 4 import java.text.DateFormat;
 5 import java.util.Date;
 6
 7 import org.apache.hadoop.conf.Configuration;
 8 import org.apache.hadoop.fs.FileStatus;
 9 import org.apache.hadoop.fs.FileSystem;
10 import org.apache.hadoop.fs.Path;
11
12 public class HadoopTest {
13     public static void main(String[] args) throws IOException {
14         System.out.println("12");
15         Configuration conf = new Configuration();
16         conf.set("fs.defaultFS", "hdfs://192.168.0.204:9000");
17         FileSystem fs = FileSystem.get(conf);
18         FileStatus[] s = fs.listStatus(new Path("/"));
19         for (int i = 0; i < s.length; i++) {
20             FileStatus f = s[i];
21             System.out.println(f.getPath().getName());
22             System.out.println(f.getLen());
23             System.out.println(f.getModificationTime());
24             Date date = new Date(f.getModificationTime());
25             String d = DateFormat.getDateInstance().format(date);
26             System.out.println(d);
27         }
28         fs.close();
29     }
30 }

5、成功运行之后,会显示从集群里面获取的文件信息

  

  

时间: 2024-08-07 12:26:51

003、java连接Hadoop2.5.1获取文件系统信息的相关文章

linux 获取文件系统信息(磁盘信息)

源码如下: #include <stdio.h> #include <stdlib.h> #include <string.h> #include <sys/vfs.h> //文件系统信息结构体 struct fileSystem_info{ char fileSystem_format[8]; char fileSystem_total_capacity[11]; char fileSystem_free_capacity[11]; char fileSy

Java:获取文件内容

文章来源:https://www.cnblogs.com/hello-tl/p/9139353.html import java.io.*; public class FileBasicOperation { /** * 获取文件内容 * @param filePath * @return */ @SuppressWarnings("resource") public String getFileContent(String filePath){ try { File file = n

获取一个想要的指定文件的集合,获取文件夹下(包含子目录的所有.java的文件对象,并存储到集合中)

import java.io.File; import java.io.FileFilter; import java.io.ObjectInputStream.GetField; import java.util.ArrayList; import java.util.List; public class huoquwenjian { /*获取一个想要的指定文件的集合,获取文件夹下(包含子目录的所有.java的文件对象,并存储到集合中) * 思路: * 1,既然包含子目录,就需要递归. * 2

java项目获取文件路径总结

版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] java获取文件路径的方式比较多,总结可能有疏漏. 1.java.lang.System.getProperty(String key) System.getProperty("user.dir")这个方法的作用可以获取当前工程的根目录. ![我的一个项目](http://img.blog.csdn.net/20160322141415562) 比如获取上图中项目的根目录:C:\Users\Administrato

Java如何获取文件编码格式

1:简单判断是UTF-8或不是UTF-8,因为一般除了UTF-8之外就是GBK,所以就设置默认为GBK. 按照给定的字符集存储文件时,在文件的最开头的三个字节中就有可能存储着编码信息,所以,基本的原理就是只要读出文件前三个字节,判定这些字节的值,就可以得知其编码的格式.其实,如果项目运行的平台就是中文操作系统,如果这些文本文件在项目内产生,即开发人员可以控制文本的编码格式,只要判定两种常见的编码就可以了:GBK和UTF-8.由于中文Windows默认的编码是GBK,所以一般只要判定UTF-8编码

如何使用Java代码获取文件、文件流或字符串的编码方式

今天通过网络资源研究了一下如何使用Java代码获取文件.文件流或字符串的编码方式,现将代码与大家分享: package com.ghj.packageoftool; import info.monitorenter.cpdetector.io.ASCIIDetector; import info.monitorenter.cpdetector.io.ByteOrderMarkDetector; import info.monitorenter.cpdetector.io.CodepageDete

jsp和java获取文件或路径

1.如何获得当前文件路径常用:(1).Test.class.getResource("")得到的是当前类FileTest.class文件的URI目录.不包括自己!(2).Test.class.getResource("/")得到的是当前的classpath的绝对URI路径.(3).Thread.currentThread().getContextClassLoader().getResource("")得到的也是当前ClassPath的绝对URI

JAVA获取文件夹下所有的文件

package com.test; import org.junit.Test; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.File; /** *获取文件夹下所有的文件 */ public class FileTest { private static final Logger logger = LoggerFactory.getLogger(FileTest.class); @Test pub

java获取文件的路径问题

java获取文件的路径问题 在java中读取读取文件,经常因为路径的问题找不到,此文用于记录如何定位文件的简单方法. 本基于springboot做的测试,主要是构建工程方便,所用的方法都是JDK中的方法,主要测试有"/"和没有""的问题,以及getResourceAsStream(String string)和getResource(String string)的问题. 1.项目结构 解释一下,主要有两个配置文件,a.properties和b.properties,