Wrong FS: hdfs://......, expected: file:///

Java代码如下: FileSystem fs = FileSystem.get(conf); in = fs.open(new Path("hdfs://192.168.130.54:19000/user/hmail/output/part-00000")); 抛出异常如下: Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.130.54:

[java] java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.190.128:9000/user/hadoop/output/probability/ALB-m-00000, expected: file:/// 一般是获取fileSystem的方式不对,要用Path.getFileSystem(conf);

一般在对文件操作的时候可能出现这个问题,可能是打开文件的时候出错,也可能是对目录进行遍历的时候出问题. 出现这种问题一般是在eclipse中运行hadoop的时候出现,直接切换到shell下发送命令,可能不会出现这个问题. 假设当前在eclipse的项目目录下,具体解决办法如下: cp $HADOOP_HOME/etc/hadoop/core-site.xml ./bin cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml ./bin 接着在eclipse项目中点击

Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统,那么对HDFS的操作就是对文件系统的操作,比如文件的创建.修改.删除:文件夹的创建.修改.删除.Hadoop作者认为大家对linux文件系统的命令很熟悉,于是借鉴了linux文件系统的命令来作为HDFS的操作命令. (1)查看帮助 hadoop fs -help (2)查看目录信息 hadoop fs -ls / (3)递归查看目录信息 hadoop fs -ls -R / (4)上传文件到HDFS hadoop fs -put

版本:Hadoop 2.7.4 -- 查看hadoop fs帮助信息[[email protected] sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] &l

关于使用java api上传文件. 在定义一个FileSystem变量的时候伪分布式和单机版的方法是不一样的,单机版使用的是FileSystem类的静态函数 FileSystem hdfs = FileSystem.get(conf) 伪分布式下需要使用Path来获得 Path dstDir = new Path("hdfs://localhost:9000/home/hadoop/hadoop"); FileSystem hdfs = dstDir.getFileSystem(get

转载自 http://www.cnblogs.com/xia520pi/archive/2012/05/28/2520813.html , 感谢虾皮工作室这一系列精彩的文章. Hadoop集群(第8期)_HDFS初探之旅 1.HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上.它所具有的高容错.高可靠性.高可扩展性.高

HDFS中的命令行 本文介绍了HDFS以命令行执行的时候.几个经常使用的命令行的作用和怎样使用~ 1. fs fs是启动命令行动作,该命令用于提供一系列子命令. 使用形式为hadoop fs –cmd <args> 当中,cmd是子命令,args是详细的命令操作. 比如hadoop fs –help 或者说fs是其余子命令的父亲.其余都是在"-cmd"的模式下的! 2. –cat 输出 hadoop fs –cat URI 将路径指定的文件输出到屏幕 3. –copyFro

转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/6391518.html 一:说明 此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列一:hadoop集群安装 二:HDFS的shell命令 上一章说完了安装HADOOP集群部分,这一张讲HDFS. 其实基本上操作都是通过JAVA API来操作,所以这里的s