Hadoop问题:Input path does not exist: hdfs://Master:9000/user/hadoop/input

问题描述:

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://Master:9000/user/hadoop/input
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:265)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
    at org.apache.hadoop.examples.Grep.run(Grep.java:78)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.examples.Grep.main(Grep.java:103)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
    at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
    at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

问题分析:Input path does not exist

问题解决:分布式环境中创建input目录

  hdfs dfs -mkdir -p /user/hadoop

  hdfs dfs -mkdir input

  hdfs dfs -put ./*.xml input

  hadoop jar ...........

原文地址:https://www.cnblogs.com/haimishasha/p/8496118.html

时间: 2024-11-06 08:22:46

Hadoop问题:Input path does not exist: hdfs://Master:9000/user/hadoop/input的相关文章

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/usr/local/spark/zytdemo

意思说在 hdfs://localhost:9000/usr/local/spark/zytdemo找不到响应的文件,我们可以分析的得到他并不是加载本地文件,而是区hdfs上查找. 这是由于我们在之前配置时修改过 /usr/local/hadoop/etc/hadoop下的core-site.xml 所以我们要将spark读取的文件路径改为hdfs上的路径. 原文地址:https://www.cnblogs.com/zyt-bg/p/11477449.html

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/input

原我是这样写的 //输入数据所在的文件目录 FileInputFormat.addInputPath(job, new Path("/input/")); //mapreduce执行后输出数据目录 FileOutputFormat.setOutputPath(job, new Path("/output/")); 这个错误原因是路劲错误,应加上hdfs中core-site.xml中配置路径,我的hdfs配置路径为hdfs://test1:9000 改为 //输入数据

Spark惰性机制引起的:Input path does not exist

分析: val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件,必须以“file:///”开头 Spark的惰性机制:执行上面的命令不会马上显示结果 只有遇到行动类型的操作,才会从头到尾执行所有操作,如:textFile.first()// 从文件中加载数据到变量textFile中,并取出第一行文本. 结论:该目录的文件不存在. 避免此类问题:及时使用textFile.first()检验 原文地址:https://www.cn

小记---------Hadoop读、写文件步骤,HDFS架构理解

Hadoop 是一个开源框架,可编写和运行分布式应用处理大规模数据 Hadoop框架的核心是HDFS 和 MapReduce HDFS是分布式文件系统(存储) MapReduce是分布式数据处理模型和执行环境(计算) 作者:Doug Cutting Hadoop特点 扩容能力 能可靠地存储和处理千兆字节(PB)数据 成本低 可以通过普通机器组成的服务器群来分布以及处理数据,服务器群总计可达数千个节点 高效率(有待验证) 通过分发数据,hadoop可以在数据所在的节点上并行地处理他们.使得处理速度

one page has two <form:input path="relatedArtic>

问题描述: 在一个页面中定义了两个path值相同的<form:input>,但是在添加了Spring MVC数据验证的时候出现了会将这两个值设置为"'",不知道是什么情况? 主要代码如下: <form:input path="relatedArticleIds" class="form-control" /> <form:input path="relatedArticleIds" class=&

Hadoop技术内幕HDFS-笔记11之HDFS

Hdfs文件系统,提供了一套基于hadoop的抽象文件系统的API,支持以流的方式访问文件系统中的数据. 特性: 1.  支持超大文件 2.  检测和快速应对硬件故障(故障检测和自动恢复) 3.  流式数据访问,注重的是数据的吞吐量,而不是数据的响应速度 4.  简化的一致性模型,一次写入,多次读取. 不适合: 5.  低延迟数据访问,和用户的实时交互,由于hadoop对高数据吞吐量进行了优化,而牺牲了数据的延迟,对于低延迟访问,可以考虑hbase或cassandra 1.1.1.       

SVN 问题解决之 Working copy path does not exist in repository

同事的SVN更新时提示某个特定文件提示 Working copy path does not exist in repository svn更新会被这个错误打断,导致无法完全更新 删掉文件再更新仍然有问题 文件本地没有改动. Google 之,得到一个方式: 将该文件备份,然后删除,提交删除,再重新Add即可 实践之, 可行

Hadoop集群内存过高,HDFS存储慢

2014-08-12 HDFS存储过慢,内存过高而且不释放 网络方面:  使用 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看网络情况: 情况如下: CLOSE_WAIT 102   FIN_WAIT2 2   ESTABLISHED 53 各个状态的发生原因可以从下图得到:(TCP的关闭过程中各个状态说明了上面的指标) 上面的状态是DataNode的状态,说明DataNode 在等待Client发起

Hadoop学习之路(十一)HDFS的读写详解

HDFS的写操作 <HDFS权威指南>图解HDFS写过程 详细文字说明(术语) 1.使用 HDFS 提供的客户端 Client,向远程的 namenode 发起 RPC 请求 2.namenode 会检查要创建的文件是否已经存在,创建者是否有权限进行操作,成功则会 为文件创建一个记录,否则会让客户端抛出异常: 3.当客户端开始写入文件的时候,客户端会将文件切分成多个 packets,并在内部以数据队列“data queue(数据队列)”的形式管理这些 packets,并向 namenode 申