eclipse中的 调试运行 及 “run on hadoop”默认只是运行在单机上的,因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程,
一个简单的“run on hadoop”只是启动了本地hadoop类库来运行你的程序而已,
在Hadoop cluster的web管理页面(http://192.168.2.2:8088/cluster/apps)上是看不到任何作业信息的,因为你的作业根本就没有运行在集群上。
打包成jar方法:
rm tmp/*
cp xmlparser_hadoop* tmp/
jar -cvf xmlparser_hadoop.jar -C tmp/ .
运行方法:
hadoop:/usr/local/hadoop-2.6.0$ bin/hadoop jar xmlparser_hadoop.jar xmlparser_hadoop hdfs://192.168.2.2:9000/user/input hdfs://192.168.2.2:9000/user/output/xmlparser
附录:
如何让你的作业在Hadoop集群中真正实现分布式运行
http://www.cnblogs.com/beanmoon/archive/2013/05/09/3068729.html
时间: 2024-12-11 03:34:53