hadoop浅尝 hadoop与hbase交互

在安装好hbase之后,运行一个与hadoop无关的纯hbase程序成功了。

接着写一个hadoop与hbase进行交互的小程序,这个程序的运行方法依然与前文相同,

即导出jar文件在shell下运行。

但是却报错找不到类。经过在网上的一番搜索,发现是因为hadoop中缺少了与hbase相关的jar文件。

只需将hbase/lib/目录下的jar文件复制到hadoop/share/hadoop/yarn中即可。

需要注意的是,hbase/lib目录下有许多haoop*.jar文件,最好不要将这些文件一同复制。否则有可能会

产生版本冲突。

我所使用的hadoop版本是2.6.0。

时间: 2024-11-12 20:26:48

hadoop浅尝 hadoop与hbase交互的相关文章

hadoop浅尝 第一个hadoop程序

hadoop编程程序员需要完成三个类. map类,reduce类和主类. map和reduce类自然是分别完成map和reduce.而主类则负责对这两个类设置job.完成这三个类之后,我们生成一个jar文件.利用这个jar文件完成剩下的工作. 首先,执行   bin/hdfs dfs -put /home/hadoop/test input这里对意思是将文件/home/hadoop/test文件放入input中.这个input是提前建立好的,指令如下: bin/hadoop fs –mkdir

【转载】Hadoop 2.7.3 和Hbase 1.2.4安装教程

转载地址:http://blog.csdn.net/napoay/article/details/54136398 目录(?)[+] 一.机器环境 系统:MAC OS Hadoop:2.7.3 Hbase:1.2.4 JDK: 1.8.0_112 二.配置SSH免密码登录 第一步:打开terminal,进入根目录,运行命令: cd 1 1 第二步: 显示隐藏文件,这时还没有.ssh文件夹 ls –a 1 1 第三步:生成密钥 ssh-keygen -t rsa -P "" 1 1  第

Hadoop+Hive(MySQL)+Hbase+zookeeper

一.hadoop安装 虚拟机(centos7) Master:192.168.0.228 Slave:192.168.0.207 软件 apache-hive-1.2.1-bin.tar.gz hadoop-2.6.0-cdh5.4.8.tar.gz jdk-8u65-linux-x64.tar.gz mysql-connector-java-5.1.31-bin.jar hbase-0.98.15-hadoop2-bin.tar zookeeper-3.4.6.tar 1.关闭防火墙 Syst

hadoop备战:hadoop,hbase兼容版本号汇总

Hbase的安装须要考虑Hadoop的版本号,即兼容性.有不足的希望能指出. 下面考究官网得到的,关于hadoop版本号和hbase版本号可到下面网址中下载:http://mirror.bit.edu.cn/apache/hbase HBase-0.92.x HBase-0.94.x HBase-0.96.x HBase-0.98.x Hadoop-1.0.0-1.0.2 S S X S Hadoop-1.0.3+ S S S S Hadoop-1.1.x NT S S S Hadoop-0.2

大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)

大数据时代之hadoop(一):hadoop安装 大数据时代之hadoop(二):hadoop脚本解析 大数据时代之hadoop(三):hadoop数据流(生命周期) 大数据时代之hadoop(四):hadoop 分布式文件系统(HDFS) 大数据时代之hadoop(五):hadoop 分布式计算框架(MapReduce) hadoop是有apache基金会所开发的分布式系统基础架构,其主要提供了两方面的功能:分布式存储和分布式计算.其中分布式存储是分布式计算的基础,在hadoop的实现里面,提

浅谈hadoop中mapreduce的文件分发

最近在做数据分析的时候,需要在mapreduce中调用c语言写的接口,此时就需要把动态链接库so文件分发到hadoop的各个节点上,原来想自己来做这个分发,大概过程就是把so文件放在hdfs上面,然后做mapreduce的时候把so文件从hdfs下载到本地,但查询资料后发现hadoop有相应的组件来帮助我们完成这个操作,这个组件就是DistributedCache,分布式缓存,运用这个东西可以做到第三方文件的分发和缓存功能,下面详解: 如果我们需要在map之间共享一些数据,如果信息量不大,我们可

hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)

本例中需要将hdfs上的文本文件,解析后插入到hbase的表中. 本例用到的hadoop版本2.7.2 hbase版本1.2.2 hbase的表如下: create 'ns2:user', 'info' hdfs上的文本文件如下[data/hbase_input/hbase.txt] 1,xiejl,20 2,haha,30 3,liudehua,40 4,daoming,41 可以通过命令查看hadoop的classpath现在包含哪些jar包: [[email protected] ~]$

生产环境下hadoop HA集群及Hbase HA集群配置

一.环境准备 操作系统版本:centos7 64位 hadoop版本:hadoop-2.7.3 hbase版本: hbase-1.2.4 1.机器及角色 IP 角色 192.168.11.131 Namenode DFSZKFailoverController ResourceManager Jobhistory HMaster QuorumPeerMain 192.168.11.132 Namenode DFSZKFailoverController HMaster QuorumPeerMai

浅尝key-value数据库(一)——一览NoSQL

浅尝key-value数据库(一)——一览NoSQL 最近由于一个项目的关系,研究了一下key-value数据库这个最近很火的概念.本系列从项目需求的角度分析并测试了几个key-value数据库的性能. key-value数据库,又称作NoSQL数据库,他的最基本的基础原理就是CAP. CAP是2000年PODC上Eric Brewer提出的一个概念,即 C -> Consistency; A -> Availability; P -> Tolerance to network Part