Hadoop(hadoop,HBase)组件import到eclipse

1.简介:

  将源代码import到eclipse可以方便的阅读和修改源码。

2.环境说明:

  mac

  mvn工具(Apache Maven 3.3.3 )

3.hadoop(CDH5.4.2)

  1.进入hadoop根目录,执行:

mvn org.apache.maven.plugins:maven-eclipse-plugin:2.6:eclipse -DdownloadSources=true -DdownloadJavadocs=tru

  注:

  如果不指定eclipse的版本号,将会爆如下错误,应该是2.8版本的兼容问题。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-eclipse-plugin:2.8:eclipse (default-cli) on project hadoop-common: Request to merge when ‘filtering‘ is not identical. Original=resource src/main/resources: output=target/classes, include=[], exclude=[common-version-info.properties|**/*.java], test=false, filtering=false, merging with=resource src/main/resources: output=target/classes, include=[common-version-info.properties], exclude=[**/*.java], test=false, filtering=true -> [Help 1]

  2.打开eclipse,将工程import

  

4.HBase(CDH5.4.2) 

  1.进入到根目录,执行:

mvn eclipse:eclipse

  2.打开eclipse进行import:

     

时间: 2024-10-21 12:30:48

Hadoop(hadoop,HBase)组件import到eclipse的相关文章

Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境

1. 需要下载hadoop的专门插件jar包 hadoop版本为2.3.0,hadoop集群搭建在centos6x上面,插件包下载地址为:http://download.csdn.net/detail/mchdba/8267181,jar包名字为hadoop-eclipse-plugin-2.3.0,可以适用于hadoop2x系列软件版本. 2. 把插件包放到eclipse/plugins目录下 为了以后方便,我这里把尽可能多的jar包都放进来了,如下图所示: 3.重启eclipse,配置Had

Hadoop与HBase中遇到的问题

1. Hadoop中遇到的问题 以前所遇到的问题由于没有记录,所以忘了 (1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点, 该文件位于hdfs-site配置文件中dfs.data.dir参数所指定的路径下的current文件夹

spring hadoop 访问hbase入门

1.  环境准备: Maven Eclipse Java Spring 版本 3..2.9 2. Maven  pom.xml配置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 <!-- Spring hadoop  -->                    <dependency>             <groupId>org.apache.hbase</groupId>             <artifa

ZooKeeper原理及其在Hadoop和HBase中的应用

简介 ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现.分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知.集群管理.Master选举.分布式锁和分布式队列等功能. 基本概念 本节将介绍ZooKeeper的几个核心概念.这些概念贯穿于之后对ZooKeeper更深入的讲解,因此有必要预先了解这些概念. 集群角色 在ZooKeeper中,有三种角色: Leader Follower Observer 一

Hadoop,HBase,Storm,Spark到底是什么?

Hadoop,HBase,Storm,Spark到底是什么? Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce:计算系统Hive:提供给SQL开发人员(通过HiveQL)的MapReduce,基于Hadoop的数据仓库框架Pig:基于Hadoop的语言开发的HBase:NoSQL数据库Flume:一个收集处理Hadoop数据的框架Oozie:一个让用户以多种语言(如MapReduce,Pig和Hive)定义一系列作业的工作流处理系统Ambari:一个基于w

java+hadoop+spark+hbase+scala+kafka+zookeeper配置环境变量记录备忘

java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102export JRE_HOME=/usr/java/jdk1.8.0_102/jreexport CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME

Hadoop、Hbase完全分布式搭建

一.Hadoop1.0到2.0的架构变化 1.Hadoop 2.0由HDFS.MapReduce和YARN三个分支构成 2.HDFSNN Federation.HA 3.MapReduce运行在YARN上的MR 4.YARN资源管理系统 二.HDFS 2.0 1.解决HDFS 1.0中单点故障和内存受限问题. 2.解决单点故障 HDFS HA通过主备NameNode解决 如果主NameNode发生故障则切换到备NameNode上 3.解决内存受限问题 HDFS Federation(联邦) 水平

CentOS系统下Hadoop、Hbase、Zookeeper安装配置

最近两天给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3.主要是配置JDK,安装Tomcat,Hadoop.HBase和Zookeeper软件,本人在Hadoop这方面也是新手,配置这个环境遇到过许多问题,查了许多资料,这里做一个总结,以便日后回顾. 首先是账户权限的修改,安装软件环境需要上传文件和一些系统文件的修改权限,所以最好设置成root权限 权限修改方法:http://www.linuxidc.com/Linux/2012-03/55629.htm 软件的安装,网上

基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建

能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事. 现将前期手里面的一个项目做一个大致的总结,与大家一起分享.交流.进步.项目现在正在线上运行,项目名--基于Hadoop的数据分析综合管理平台. 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-->热点话题发现-->报表"实时"展示,使用到的技术也是当今互联网公司常用的技术:Hadoop.Mahout.HBase.Spring Data Had