Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决方式 spark运行wordcoult

虽然可以正常运行,但是会出异常,现给出解决方法。

1.问题:

     

2.  问题解决:

仔细查看报错是缺少winutils.exe程序。

Hadoop都是运行在Linux系统下的,在windows下eclipse中运行mapreduce程序,要首先安装Windows下运行的支持插件

3.  安装并配置插件(我这里还是Linux版的hadoop安装包,我们只需要下载一个winutils.exe文件即可)

1.文件解压后如下(添加winutils.exe):

     

2.设置环境变量(第一个在环境变量下创建HADDOOP_HOME这个变量,第二个在path下添加最后一行的变量):

3.  至此重启电脑后,问题便可以解决了

4,差点把最重要的地方忘了,我之前搜索winutils.exe下载他们都是各种收费,真是不厚道,下面是下载地

  链接:https://pan.baidu.com/s/1YZDqd_MkOgnfQT3YM-V3aQ
  提取码:xi44
  复制这段内容后打开百度网盘手机App,操作更方便哦

原文地址:https://www.cnblogs.com/dhName/p/10579045.html

时间: 2024-10-07 19:07:37

Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决方式 spark运行wordcoult的相关文章

windows 中使用hbase 异常:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

平时一般是在windows环境下进行开发,在windows 环境下操作hbase可能会出现异常(java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.),以前也遇到过这个问题,今天又有小伙伴遇到这个问题,就顺带记一笔,异常信息如下: 2016-05-23 17:02:13,551 WARN [org.apache.hadoop.util.NativeCodeLoa

Spakr- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

运行 mport org.apache.log4j.{Level, Logger} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * Created by Lee_Rz on 2017/8/30. */ object SparkDemo { def main(args: Array[String]) { Logger.getLogger("org.apache.spark

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries

在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下,在Win7系统Intellij开发工具中调试Spark读取Hbase.运行直接报错: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 15/06/11 15:35:50 ERROR Shell: Failed to locate the winutils binary in the

spark开发常见问题之一:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

最近在学习研究pyspark机器学习算法,执行代码出现以下异常: 19/06/29 10:08:26 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.at org.apache.hadoop.util.Shel

源码追踪,解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.问题

在windows系统本地运行spark的wordcount程序,会出现一个异常,但不影响现有程序运行. >>提君博客原创  http://www.cnblogs.com/tijun/  << 总归是一个异常,老是爆红,看着心烦,下面是异常信息 提君博客原创 让我们源码追踪一下,看看到底是什么原因导致,点击第一行爆红的异常信息提示,就是(shell.java:355) 看到我的截图提示,大概了解什么原因了.发现HADOOP_HOME_DIR为null,右边outline里面找到一个私

spark-local-运行异常-Could not locate executable null\bin\winutils.exe in the Hadoop binaries

windows下-local模式-运行spark: 1.下载winutils的windows版本 GitHub上,有人提供了winutils的windows的版本,项目地址是:https://github.com/srccodes/hadoop-common-2.2.0-bin,直接下载此项目的zip包,下载后是文件名是hadoop-common-2.2.0-bin-master.zip,随便解压到一个目录 2.配置环境变量 增加用户变量HADOOP_HOME,值是下载的zip包解压的目录,然后

executable null\bin\winutils.exe in the Hadoop binaries.

在windows 使用eclipse远程调用hadoop集群时抛出下面异常 executable null\bin\winutils.exe in the Hadoop binaries. 这个问题 (1)你没有设置hadoop的环境变量,所以提示 null\bin\....... (2)你没有 winutils.exe winutils.exe的下载地址:https://github.com/srccodes/hadoop-common-2.2.0-bin (不用担心版本问题,我Hadoop2

Could not locate executable E:\SoftWave\Hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries解决办法

需要下载windows版本 bin目录下的文件,替换hadoop目录下原来的bin目录下的文件.下载网址是: https://github.com/srccodes/hadoop-common-2.2.0-bin 另外还需要注意:下载的动态库是64位的,所以必须要在64位windows系统下运行. 把这个文件夹下的bin目录下的文件复制 拷贝到hadoop2.2.0目录下的bin路径下,把一样的文件替换就可以了 这个是拷贝后的结果

Could not locate executable null 解决办法

问题导读: 1.建一个MapReduce Project,运行时发现出问题:Could not locate executable null,该如何解决?2.Could not locate executabl   ....\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.该如何解决? 1.创建一个MapReduce Project,运行时发现出问题了. java.io.IOException: Could no