Hadoop编程踩坑

Hadoop踩坑

在hadoop所有组件编程中,遇到在Windows下运行程序出现

 1 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
 2     at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:356)
 3     at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:371)
 4     at org.apache.hadoop.util.Shell.<clinit>(Shell.java:364)
 5     at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80)
 6     at org.apache.hadoop.security.SecurityUtil.getAuthenticationMethod(SecurityUtil.java:611)
 7     at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:272)
 8     at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:260)
 9     at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:790)
10     at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:760)
11     at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:633)
12     at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2214)
13     at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2214)
14     at scala.Option.getOrElse(Option.scala:121)
15     at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2214)
16     at org.apache.spark.SparkContext.<init>(SparkContext.scala:322)
17     at leftOutJoin.sparkTopN$.main(SparkLefOutJoin.scala:19)
18     at leftOutJoin.sparkTopN.main(SparkLefOutJoin.scala)

通常是需要放置一个系统缺失的应用“

null\bin\winutils.exe

建议在代码中插入一行

1 System.setProperty("hadoop.home.dir", "F:\\spack\\hadoop-common-2.2.0-bin-master")

这里我写的路径是我自己的当然,如果你没有

winutils.exe那你可以下载我上传的:链接

原文地址:https://www.cnblogs.com/lzj-/p/11112522.html

时间: 2024-11-05 18:48:11

Hadoop编程踩坑的相关文章

hadoop安装踩坑

切记!!!!! 没有比官网教程更详细,更靠谱的教程!!!!! 其他的基本都是官网的翻译,但是官网的教程是实时更新的,要是不注意版本,坑根本就踩不完!!! 附上官网部署教程: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 单节点的安装只需要关注两个点: 1.linux安装的java版本,各个版本的hadoop对java版本是要求的,具体信息如下: https://

Ubuntu搭建Hadoop的踩坑之旅(三)

之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程,本来这篇文章是打算介绍搭建伪分布式集群的.但是后来想想反正伪分布式和完全分布式差不多,所幸直接介绍完全分布式了. 如果你想自己搭建伪分布式玩的话,参考:在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - CSDN博客 这一篇主要参考这篇文章:Hadoop2.6.0安装 - 集群(搭建的过程中没截图,大家可以到原博客看) 一.所需的环境和软件:(以下是我们的环境,仅供参考) 1. 操作系统:Window

Hadoop EC 踩坑 :data block 缺失导致的 HDFS 传输速率下降

环境:hadoop-3.0.2 + 11 机集群 + RS-6-3-1024K 的EC策略 状况:某天,往 HDFS 上日常 put 业务数据时,发现传输速率严重下降 分析: 检查集群发现,在之前的传输中,发生过个别 datanode 临时不可用的状况. 而由于 hadoop EC 机制,当失效 datanode 小于容忍值 (这里是3),put 等传输任务仍然成功.但 hadoop 当时会报错,用于提示程序员,这个报错不会影响当此传输任务,故 put 等传输请求会返回成功.然后,缺失的 dat

HADOOP HA 踩坑 - 所有 namenode 都是standby

报错: 无明显报错 状况: 所有namenode都是standby,即ZK服务未生效 尝试一:手动强制转化某个namenode为active 操作:在某台namenode上,执行 hdfs haadmin -transitionToActive --forcemanual nn1 (nn1是你的某台nameservice-id) 结果:nn1被成功转为active.但是在stop-dfs.sh后再一次start-dfs.sh后,所有namenode仍然都是standby 结论:果然因该是ZK的问

&lt;&lt;Python编程:从入门到实践&gt;&gt;踩坑记 Django

<<Python编程:从入门到实践>>踩坑记 Django Django Python 19.1.1.5 模板new_topic 做完书上的步骤后,对主题添加页面经行测试,但是浏览器显示 服务器异常. 个人采用的开发环境是virtual studio code , 测试起来很是难受,因为我配置的debug环境,断点操作没有作用. 经过我不断的测试,才发现我失败的原因是由于之前的误操作,先建立new_pizzas.py后改为new_pizzas.html的,错误就在这里.在我之后新建

万法归宗之Hadoop编程无界限

记录下,散仙今天的工作以及遇到的问题和解决方案,俗话说,好记性不如烂笔头,写出来文章,供大家参考,学习和点评,进步,才是王道 ,废话不多说,下面切入主题: 先介绍下需求: 散仙要处理多个类似表的txt数据,当然只有值,列名什么的全部在xml里配置了,然后加工这些每个表的每一行数据,生成特定的格式基于ASCII码1和ASCII码2作为分隔符的一行数据,ASCII2作为字段名和字段值的分隔符,ASCII1作为字段和字段之间的分隔符,每解析一个txt文件时,都要获取文件名,然后与xml中的schema

AI相关 TensorFlow -卷积神经网络 踩坑日记之一

上次写完粗浅的BP算法 介绍 本来应该继续把 卷积神经网络算法写一下的 但是最近一直在踩 TensorFlow的坑.所以就先跳过算法介绍直接来应用场景,原谅我吧. TensorFlow 介绍 TF是google开源出来的人工智能库,由python语言写的 官网地址:http://www.tensorflow.org/   请用科学上网访问 中文地址:http://www.tensorfly.cn/ 当然还有其他AI库,不过大多数都是由python 写的 .net 的AI库叫 Accord.net

之后要接触更多代码管理的知识——2015踩坑有感

前言 学习是没有止境的,管理代码的能力也永远需要提高. 前几个月还觉得R语言,业务上要用的都学得七七八八了呢,这几个月在自家部门吭哧吭哧搞报表自动化时,各个坑一踩一个准,才明白写代码,懂得一点语言特性固然重要,弄一套科学地管理代码的方法,却是势在必行. 因此在这里总结一下这几个月来我踩过的种种坑,以及之后在查阅种种大神的经验,以及学软件工程这门课时看到的一些比较妥当的方法,算是这几个月的一个总结.2016年的时候,真的要多学学如何科学地管理代码,科学开发 请注意,因为我属于跨专业半路出家写代码,

Java踩坑之路

陆陆续续学Java也快一年多了,从开始的一窍不通到现在的初窥门径,我努力过,迷茫过,痛过,乐过,反思过,沉淀过.趁着新年,我希望能把这些东西记下来,就当是我一路走来的脚印. 一.初识网站应用 记得第一次接触Java,是写一个小网站,当时用servlet+tomcat做服务端,数据库是mysql.那时我对于网站应用的概念一片空白,之前接触的都是C++和MFC写桌面程序.我花了一周时间看完了<java servlet programming>这本书,然后我就开始写代码了.但是,真的当我写代码的时候