运行一个简单的hadoop实例。
环境:win7跑三台ubuntu虚拟机,并已成功安装hadoop2.8.1环境,win7安装idea工具
【步骤】
1、参考 http://blog.csdn.net/u011654631/article/details/70037219,该地址简称 参考页;
2、idea创建gradle的java工程;
3、按参考页build.gradle中集成相应的hadoop jar包;
几点补充:
1、把core-site.xml,mapred-site.xml,yarn-site.xml等拷到工程的resources目录下;
2、如遇到 hdfs:master:9000 访问refused,用IP地址替换master试试;
3、input文件位于hdfs系统内,linux只能通过hdfs dfs方式访问;
4、hadoop.dll和winutils.exe需另行下载;
5、用户权限问题,win7增加环境变量 HADOOP_USER_NAME, 值为 hadoop的用户名;
6、增加日志打印配置文件log4j.xml,放到工程的resources目录下,xml内容参考 http://www.cnblogs.com/ftrako/p/7570094.html ;
时间: 2024-10-23 21:37:26