一个痛苦的问题的解决,windows上eclipse提交yarn集群的错误

--------一个痛苦的解决问题的过程--------------------------------------
 
 首先确保linux服务器上面的集群环境启动
 
 集群启动
    start-dfs.sh
    stop-dfs.sh 
    start-yarn.sh 
    stop-yarn.sh
    
    
    [[email protected] sbin]$ jps
        3522 NameNode
        4823 Jps
        3672 DataNode
        3948 ResourceManager
        3852 SecondaryNameNode
        4253 NodeManager
    
    [[email protected] ~]$ jps
        2219 DataNode
        2365 NodeManager
        2927 Jps
    
 
 
windows里面的eclipse访问linux的yarn集群会出现的错误
1、权限问题
   没有linux的权限,需要在启动的配置参数中加上指定的用户,如在debug的配置中:HADOOP_USER_NAME=hadoop
 
 
 
2、/bin/bash: line 0: fg: no job control一般解决方法
   这个问题是hadoop的bug
   具体可参考http://blog.csdn.net/fansy1990/article/details/27526167
   需要重新写YARNRunner.java,具体的本项目中已有

   
   
3、出现Stack trace: ExitCodeException exitCode=1:
   参考:http://www.cnblogs.com/gaoxing/p/4466924.html
   要把配置的四个文件放到src目录下面
   core-site.xml
   hdfs-site.xml
   mapred-site.xml
   yarn-site.xml
   注意如果要使用如 mini130 这样的,需要在hosts中进行配置
   yarn.application.classpath
   mapreduce.application.classpath都需要编写绝对地址

4、出现时间不一致

同步时间,用root账号:

ntpdate time.nist.gov

时间: 2024-10-11 22:25:50

一个痛苦的问题的解决,windows上eclipse提交yarn集群的错误的相关文章

Windows下Eclipse提交MR程序到HadoopCluster

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 欢迎转载,转载请注明出处. 以前Eclipse上写好的MapReduce项目经常是打好包上传到Hadoop测试集群来直接运行,运行遇到问题的话查看日志和修改相关代码来解决.找时间配置了Windows上Eclispe远程提交MR程序到集群方便调试.记录一些遇到的问题和解决方法. 系统环境:Windows7 64,Eclipse Mars,Maven3.3.9,Hadoop2.6.0-CDH5.4.0. 一.配置

MySQL集群---②Windows平台搭建MySQL CLUSTER集群

本文将通过两台电脑来简单介绍一下Windows平台如何搭建MySQL集群. MySQL集群支持多台电脑,本文搭建的MySQL集群以两台机子为例,其中一台(IP为192.168.24.33)部署管理节点.数据节点和SQL节点,另一台(IP为192.168.24.82)部署数据节点和SQL节点. 实际应用中,不要将管理节点跟数据节点部署到一台机子上,因为如果数据节点宕机会导致管理节点不可用,同时整个MySQL群集也就都不可用了.所以一个MySQL群集理想情况下至少有三台服务器,将管理节点单独放到一台

编写hadoop程序并打成jar包上传到hadoop集群运行

准备工作: 1. hadoop集群(我用的是hadoop-2.7.3版本),这里hadoop有两种:1是编译好的hadoop-2.7.3:2是源代码hadoop-2.7.3-src: 2. 自己的机器可以是任何系统,只要支持JVM,自己的主机上必须有eclipse,以及hadoop-2.7.3和hadoop-2.7.3-src.(我用的是windows系统,为了方便Linux系统传输数据,我选用了FileZilla,一款ftp工具,具体见www.cnblogs.com/NongSi-Net/p/

Windows环境下搭建rabbitmq集群与负载

欢迎提出意见及建议,发现错误请留言 需要的文件下载: 百度云:链接:https://pan.baidu.com/s/1gpZa2NjNxviEnihjS2Viuw  提取码:39hi  复制这段内容后打开百度网盘手机App,操作更方便哦 蓝奏云:下载:https://www.lanzous.com/i54x5da 密码:cgb9 参考博文: https://blog.csdn.net/elie_yang/article/details/86657851 https://blog.csdn.net

如何在一台ESXi主机上搭建一整套VSAN集群的环境

从上周起,我开始翻译一本新书.IT类中文书籍的翻译往往有一个术语的问题,如何选择最准确的中文术语,让读者清楚明白而且在实际操作和配置的时候不至于误解,是一件不那么容易的事情.一个简单的例子就是cluster,中文可以译作"集群"或者"群集".这两者本身都广为使用,而且是完全相同的意思.我查了一下中文亚马逊书店,136本IT类中文图书用了"集群",29本用了"群集".看上去"集群"更为普及一些,而且我本人也习

线上测试高可用集群部署文档【我的技术我做主】

线上测试高可用集群部署文档 目录: 目录:1 项目需求:2 实现方式:2 拓扑图:3 系统及软件版本:3 安装步骤:4 IP分配:4 LVS和keepalived的安装和配置:4 LVS主配置:4 LVS2备 配置:7 web服务器配置9 Mysql-MHA高可用:13 Mysql主配置:13 manager管理端操作:15 VIP切换:16 测试:26 下面是centos5.6的系统环境,如果是centos6版本,只需改动少许地方即可,步骤一致 . ---- by 金戈铁马行飞燕 项目需求:

在 Ubuntu 上搭建 Eadoop 分布式集群 Eclipse 开发环境

一直在忙Android FrameWork,终于闲了一点,利用空余时间研究了一下Hadoop,并且在自己和同事的电脑上搭建了分布式集群,现在更新一下blog,分享自己的成果. 一 .环境 1.操作系统:Ubuntu 12.04 LTS 64位 2.Java版本:openjdk-7-jdk 3.Hadoop版本:2.6.0 4.结点信息: 机器名 IP hostname 作用 master 10.13.14.83 rdcdz140395 NameNode and JobTracker slave-

windows上eclipse搭建hadoop开发环境(自用,备忘)

注:本文为自用,随时更新. 一.系统环境 Windows7.Ecplise 4.4.0,Hadoop2.7.2 Hadoop安装教程请看:Hadoop2.7.2安装教程 此处需要注意的是:你的hadoop运行在远程的虚拟机上,但是你的windows上也需要有hadoop的运行环境,这样eclipse才能进行远程调试,所按照上面教程安装完虚拟机上的hadoop,还需要下载同样版本的Hadoop加压到windows上即可,还需要配置相应的环境变量,拷贝winutil.exe.hadoop.dll等文

解决IE上登陆oracle OEM时报:“证书错误,导航已阻止”的错误

今天在IE上登陆OEM时,报证书错误,导航已阻止,我选择:继续浏览此网站(不推荐),但是点了之后还没有反应,在网上搜了很多,原因基本都是windows的问题,最后发现问题是:oracle oem证书的密钥小于1024,解决方法就是执行certutil命令,也就是在cmd上执行:“certutil -setreg chain\EnableWeakSignatureFlags 8” ,会报:之后,就可以登陆EM了