Hadop使用Partitioner后,结果还是一个文件,如何解决??

最近看了一下partitioner,于是照着写了一个列子,最后发现程序并没有将结果分开写入相应的文件,结果还是一个文件,于是乎感觉是不是没有用集群去运行程序,发现control中还是本地执行的代码:

<span style="font-size:12px;">2015-08-09 09:53:02,193 WARN  [main] conf.Configuration (Configuration.java:loadProperty(2172)) - file:/tmp/hadoop-cau/mapred/staging/cau1745029252/.staging/job_local1745029252_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.
2015-08-09 09:53:02,195 WARN  [main] conf.Configuration (Configuration.java:loadProperty(2172)) - file:/tmp/hadoop-cau/mapred/staging/cau1745029252/.staging/job_local1745029252_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.
2015-08-09 09:53:02,632 WARN  [main] conf.Configuration (Configuration.java:loadProperty(2172)) - file:/tmp/hadoop-cau/mapred/local/localRunner/cau/job_local1745029252_0001/job_local1745029252_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.
2015-08-09 09:53:02,634 WARN  [main] conf.Configuration (Configuration.java:loadProperty(2172)) - file:/tmp/hadoop-cau/mapred/local/localRunner/cau/job_local1745029252_0001/job_local1745029252_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.
2015-08-09 09:53:02,657 INFO  [main] mapreduce.Job (Job.java:submit(1272)) - The url to track the job: http://localhost:8080/
2015-08-09 09:53:02,659 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1317)) - Running job: job_local1745029252_0001
2015-08-09 09:53:02,662 INFO  [Thread-12] mapred.LocalJobRunner (LocalJobRunner.java:createOutputCommitter(323)) - OutputCommitter set in config null
2015-08-09 09:53:02,679 INFO  [Thread-12] mapred.LocalJobRunner (LocalJobRunner.java:createOutputCommitter(341)) - OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
2015-08-09 09:53:02,810 INFO  [Thread-12] mapred.LocalJobRunner (LocalJobRunner.java:run(389)) - Waiting for map tasks</span>

于是乎,想着打包到集群去运行看看,结果节点报了各种错!:

<span style="font-size:12px;">15/08/09 10:02:41 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1438842873940_0002/
15/08/09 10:02:41 INFO mapreduce.Job: Running job: job_1438842873940_0002
15/08/09 10:02:54 INFO mapreduce.Job: Job job_1438842873940_0002 running in uber mode : false
15/08/09 10:02:54 INFO mapreduce.Job:  map 0% reduce 0%
15/08/09 10:02:55 INFO mapreduce.Job: Task Id : attempt_1438842873940_0002_m_000000_0, Status : FAILED
Container launch failed for container_1438842873940_0002_01_000002 : java.lang.IllegalArgumentException: java.net.UnknownHostException: slave7
	at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:377)
	at org.apache.hadoop.security.SecurityUtil.setTokenService(SecurityUtil.java:356)
	at org.apache.hadoop.yarn.util.ConverterUtils.convertFromYarn(ConverterUtils.java:237)
	at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.newProxy(ContainerManagementProtocolProxy.java:218)
	at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.<init>(ContainerManagementProtocolProxy.java:196)
	at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy.getProxy(ContainerManagementProtocolProxy.java:117)
	at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl.getCMProxy(ContainerLauncherImpl.java:403)
	at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:138)
	at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:369)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
	at java.lang.Thread.run(Thread.java:722)
Caused by: java.net.UnknownHostException: slave7</span>

最终问题还是没解决,哪位大侠指点一下吧。小弟还没入门!在此叩谢!!!

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2025-02-01 08:59:34

Hadop使用Partitioner后,结果还是一个文件,如何解决??的相关文章

无法找到运行搜索助理需要的一个文件 的解决办法

在执行"搜索"功能时,系统弹出错误对话框,提示"无法找到运行搜索助理需要的一个文件,--."而后,"搜索助手"工具栏显示一片空白,无法使用.说明:我的系统是XP SP3. 这显然要么是进行系统"瘦身",要么就是因安装某个程序而破坏系统文件引发的Windows搜索助理功能失效. 经过查询,得知解决方法主要有以下三个:       第一种办法是打开文件夹"C:/Windows/inf",找到"srch

python文件读写 - 读一个文件所有行,加工后写另一个文件

1 #Filename: file_read_and_write.py 2 #打开文件,cNames读取所有行,储存在列表中,循环对每一行在起始处加上序号1,2,3,4 3 with open(r'file/companies.txt') as f1: 4 cNames = f1.readlines() 5 for i in range(0,len(cNames)): 6 cNames[i] = str(i+1) + '.' + '' + cNames[i] 7 8 #将处理过的cNames写入

IOS7.1-7.1.1越狱后无法读取越狱文件的解决办法

申明:      下面安装PP源的方法已经失效,请不用按照下面的方法操作.      更新最新的方法,在cydia中搜索源 apple file conduit "2" ,安装完成即可解决. 1,首先在手机上运行越狱程序cydia,等待加载完毕后,添加PP源 apt.25pp.com 2,添加成功之后,返回源列表,找到PP助手源,点击计入后我们选择全部软件包 3,进入后下拉,找到PP助手afc2补丁和PP助手ipa补丁,可先安装ipa补丁,再安装afc2补丁,afc2补丁需要重启手机.

重新安装liteide后无法关联.go文件的解决办法

现象:双击.go文件,从打开方式中选择新安装的liteide.exe无效. 解决办法: 打开regedit 找到HKCU\Software\Classes\go_auto_file 发现下面有shell open command三个子目录 其中command 下,默认值为"D:\liteidex\bin\liteide.exe" "%1" 而新安装的exe是在d:\liteide目录下面 ,修改为:"D:\liteide\bin\liteide.exe&q

Vue打包后出现一些map文件

Vue打包后出现一些map文件的解决办法: 问题: 可能很多人在做vue项目打包,打包之后js中,会自动生成一些map文件,那我们怎么把它去掉不要呢? 1,运行  cnpm run build  开始打包 2,会在项目目录下自动创建dist目录,打包好的文件都在其中 解决办法:     去src/config/index.js中改一个参数: productionSourceMap:false 把这个改为false.不然在最终打包的文件中会出现一些map文件,map文件的作用在于:项目打包后,代码

已知s.txt文件中有一个这样的字符串 请编写程序读取数据内容,把数据排序后写入 ss.txt文件

package cn.idcast5; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.util.Arrays; /* * 需求:已知s.txt文件中有一个这样

Java 练习:读取该文件内容,并按照自然顺序排序后输出到 另一个文件中

package com.swift; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; public class IO_sort_content { public static void main(String[] args) { /* * 已知文件 a.txt 文件中的内容为"bcde

一个很小的爬虫,演示了爬一首词,后存进txt文件中去

一个很小的爬虫,演示了爬一首词,后对数据进行清洗,后存进txt文件中去 import requests,refrom bs4 import BeautifulSoup url="https://trade.500.com/sfc/"url2="https://so.gushiwen.org/shiwenv_4d3b4d132c82.aspx" req=requests.get(url2)if req.status_code==200: if req.encoding

删除某一个文件中的后两行

新建一个文件并让文件中显示行号方便后续执行查看结果 cat -b /etc/passwd > a.txt cat /a.txt ......................省略N行 34 dhcpd:x:177:177:DHCP server:/:/sbin/nologin 35 lisi:x:500:500::/home/lisi:/bin/bash 36 zhangsan:x:501:501::/home/zhangsan:/bin/bash 37 mysql:x:27:27:MySQL S