搭建hadoop2.7.6环境以及解决java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windo问题

这些天开始慢慢接触大数据的东西,顺手些一下hadoop搭建过程,提供一下自己的经验。

首先,我查了很多博客之后,确定了自己需要安装的hadoop版本2.7.6并找到两个感觉比较好的博客,下面说一下安装过程以及解决问题的方法。

第一步,根据博客https://blog.csdn.net/u012761191/article/details/80501388来安装,其中,我用的jdk是1.8版本的,hadoopwindows-master的地址为:

链接:https://pan.baidu.com/s/1S6Gf9ScLdeeUNsQ1yn83kA
提取码:uud0

我一开始是完全按照上面博客的方法做的,遇到三个问题,第一个问题是在运行:hadoop namenode –format命令的时候发生的,JAVA_HOEM不识别,所以需要修改为自己的安装路径;

第二个问题是应该也是这个命令,hdfs-site.xml文件中的地址有问题,错误是***index***把\修改为/就好了,我把其他所有关于路径的配置都这样改了,,,

第三个问题是java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows,搜了很多地方都没有找到答案,第二天也就是今天看到了这篇博客

https://blog.csdn.net/a2099948768/article/details/79577246,里面提到了把hadoopwindows-master文件中bin全部覆盖到hadoop中的bin中,我试了一下,成功了,我觉得应该是这里的问题。

最后,感谢所有写回答的大佬,尤其是上面这两位。

原文地址:https://www.cnblogs.com/kevin-lee123/p/11020570.html

时间: 2024-11-02 03:53:13

搭建hadoop2.7.6环境以及解决java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windo问题的相关文章

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 故障解决

在网上看了很多该故障的解决方法,接下来介绍两种 1.解决方法是下载https://github.com/srccodes/hadoop-common-2.2.0-bin文件然后将其中的hadoop.dll文件放到hadoop安装路径的bin文件夹下(配置好HADOOP_HOME的环境变量),然后重启电脑. 2.在项目中添加src中添加NativeIO类,代码如下: /** * Licensed to the Apache Software Foundation (ASF) under one *

MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;

之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 报的异常是getStat出了问题,也就是说SHELL.WINDOWS是false了,于是猜测是hadoop.dll的问题,因为之前用的是3.0的,于是去GitHub上下了个3.1的,链接https://github.com/s911415/apache-hadoop-3.1.0-winutils/blob/

Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav

在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav,这个问题折腾了我很久,后来找到方法解决. 描述一下:电脑是win8.1的64位操作系统,在机子上安装了redhat虚拟机,部署了hadoop环境,在win8的eclips

解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题

一.简介 Windows下的 Eclipse上调试Hadoop2代码,所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件,并在运行Hadoop代码时出现了一系列的问题,搞了好几天终于能运行起代码.接下来我们来看看问题并怎么解决,提供给跟我同样遇到的问题作为参考. Hadoop2的WordCount.java统计代码如下: import java.io.IOException; import java.util.StringTokeni

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps Hadoop2.6.0编程问题与解决

从hadoop 1.2.1升级到 Hadoop2.6.0,调试写代码,还是遇到一些问题的.这里记录一下,后续如果自己再遇到类似问题,那也好找原因了. 在eclipse里编译运行 WordCount,出现以下错误. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps at java.lang.ClassLoader.defineClass1(Native M

java.lang.NoClassDefFoundError: org/apache/commons/io/output/DeferredFileOutputStream异常解决方法

使用Tomcat部署Servlet程序时,单步调试跟踪到: List<FileItem> itemList = sfu.parseRequest(request); 总是会报错:Java.lang.NoClassDefFoundError: org/apache/commons/io/output/DeferredFileOutputStream 直接运行后也是这个错误,解决方法: 添加引用包commons-io.jar到工程下,问题解决.有人说是commons-fileupload.jar包

hive 使用where条件报错 java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.ppd.ExprWalkerInfo.getConvertedNode

hadoop 版本 2.6.0 hive版本 1.1.1 错误: java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.ppd.ExprWalkerInfo.getConvertedNod…… 解决办法 1,修改Hive的配置文件conf/hive-site.xmlhive.optimize.ppd==false然后重启hadoop环境 2,hive命令行:执行set hive.optimize.ppd=false;

maven:java.lang.NoClassDefFoundError: org/apache/commons/io/Charsets

今天从git上down了一个第三方jar ,这个jar里面用到了  String resultUrl = String.format(url,            URLEncoder.encode(ticket, Charsets.UTF_8.name())); 然而执行到这里的时候,就报错了: java.lang.NoClassDefFoundError: org/apache/commons/io/Charsets 第一反应就是jar包冲突了,看了下依赖,果然是有问题,如图所示: com

Caused by: java.lang.ClassNotFoundException: org.apache.commons.io.FileUtils

1.错误描述 警告: Could not create JarEntryRevision for [jar:file:/D:/MyEclipse/apache-tomcat-7.0.53/webapps/FirstSSH/WEB-INF/lib/struts2-core-2.3.16.3.jar]! java.lang.NoClassDefFoundError: org/apache/commons/io/FileUtils at com.opensymphony.xwork2.util.fs.