这些天开始慢慢接触大数据的东西,顺手些一下hadoop搭建过程,提供一下自己的经验。
首先,我查了很多博客之后,确定了自己需要安装的hadoop版本2.7.6并找到两个感觉比较好的博客,下面说一下安装过程以及解决问题的方法。
第一步,根据博客https://blog.csdn.net/u012761191/article/details/80501388来安装,其中,我用的jdk是1.8版本的,hadoopwindows-master的地址为:
链接:https://pan.baidu.com/s/1S6Gf9ScLdeeUNsQ1yn83kA
提取码:uud0
我一开始是完全按照上面博客的方法做的,遇到三个问题,第一个问题是在运行:hadoop namenode –format命令的时候发生的,JAVA_HOEM不识别,所以需要修改为自己的安装路径;
第二个问题是应该也是这个命令,hdfs-site.xml文件中的地址有问题,错误是***index***把\修改为/就好了,我把其他所有关于路径的配置都这样改了,,,
第三个问题是java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows,搜了很多地方都没有找到答案,第二天也就是今天看到了这篇博客
https://blog.csdn.net/a2099948768/article/details/79577246,里面提到了把hadoopwindows-master文件中bin全部覆盖到hadoop中的bin中,我试了一下,成功了,我觉得应该是这里的问题。
最后,感谢所有写回答的大佬,尤其是上面这两位。
原文地址:https://www.cnblogs.com/kevin-lee123/p/11020570.html