解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

这个问题来的有点莫名奇妙,之前我的hadoop运行一直是正常的,某一天开始运行Mapreduce就报这个错。

试过很多种方法都没有用,比如

1.path环境变量
2.Hadoop bin目录下hadoop.dll和winutils.exe
3.c:\windows\system32 下的hadoop.dll
4.64为jdk
条件都满足了还是报错


试了这些方法都没有用,最后只有改源码了。

下载相应版本的源码解压,找到NativeIO.java文件。将它加入到工程中去,如下图

修改NativeIO.java

最后重新执行程序就正常了。

时间: 2024-08-05 02:48:04

解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z的相关文章

解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题

一.简介 Windows下的 Eclipse上调试Hadoop2代码,所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件,并在运行Hadoop代码时出现了一系列的问题,搞了好几天终于能运行起代码.接下来我们来看看问题并怎么解决,提供给跟我同样遇到的问题作为参考. Hadoop2的WordCount.java统计代码如下: import java.io.IOException; import java.util.StringTokeni

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 故障解决

在网上看了很多该故障的解决方法,接下来介绍两种 1.解决方法是下载https://github.com/srccodes/hadoop-common-2.2.0-bin文件然后将其中的hadoop.dll文件放到hadoop安装路径的bin文件夹下(配置好HADOOP_HOME的环境变量),然后重启电脑. 2.在项目中添加src中添加NativeIO类,代码如下: /** * Licensed to the Apache Software Foundation (ASF) under one *

解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

在项目中添加src中添加NativeIO类 /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding copyright ownership. The ASF lice

关于org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z报错

之前一直出现这个错误,使用的开发工具是IDEA 我感觉似乎是与windows的操作系统不太适合 于是在project创建 org.apache.hadoop.io.nativeio包,将NativeIO.java中的代码导入,然后修改 修改之后项目可运行. 原文地址:https://www.cnblogs.com/kangzhijia/p/9331128.html

搭建hadoop2.7.6环境以及解决java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windo问题

这些天开始慢慢接触大数据的东西,顺手些一下hadoop搭建过程,提供一下自己的经验. 首先,我查了很多博客之后,确定了自己需要安装的hadoop版本2.7.6并找到两个感觉比较好的博客,下面说一下安装过程以及解决问题的方法. 第一步,根据博客https://blog.csdn.net/u012761191/article/details/80501388来安装,其中,我用的jdk是1.8版本的,hadoopwindows-master的地址为: 链接:https://pan.baidu.com/

MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;

之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 报的异常是getStat出了问题,也就是说SHELL.WINDOWS是false了,于是猜测是hadoop.dll的问题,因为之前用的是3.0的,于是去GitHub上下了个3.1的,链接https://github.com/s911415/apache-hadoop-3.1.0-winutils/blob/

Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.LongWritable

今天在写MapReduce时遇到了这个问题,这个问题的解释是:来自map的键类型不匹配:expected org.apache.hadoop.io文本,收到org.apache.hadoop.io.LongWritable,也就是说从map到reduce的输出格式装换错误,或者没有定义,即使在你的map的输出参数写的和reduce的参数一模一样还是会出现这个错误. 那么解决的办法就是既然他自己识别不了,我们就强制给他装换,给他设置类型参数,这样就可以了. //设置map输出的key类型 job.

SEQ!org.apache.hadoop.io.LongWritable

[[email protected] subdir26]$ $HADOOP_HOME/bin/hadoop fs -cat /data/flumeEvents/FlumeData.1559805156238WARNING: An illegal reflective access operation has occurredWARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.Ke

org.apache.hadoop.hbase.master.HMasterCommandLine: Master exiting java.lang.RuntimeException: HMaster Aborted

前一篇的问题解决了,是 hbase 下面lib 包的jar问题,之前写MR的时候加错了包,替换掉了原来的包后出现另一问题:@ubuntu:/home/hadoop/hbase-0.94.6-cdh4.5.0/bin$ ./start-hbase.sh starting master, logging to /home/hadoop/hbase-0.94.6-cdh4.5.0/logs/hbase-master-ubuntu.outlocalhost: starting regionserver,