CDH5.15.1 hive 连接mongodb配置及增删改查

1. 下载

wget http://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-hive/2.0.2/mongo-hadoop-hive-2.0.2.jar

wget http://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-core/2.0.2/mongo-hadoop-core-2.0.2.jar

wget http://repo1.maven.org/maven2/org/mongodb/mongo-java-driver/3.6.0/mongo-java-driver-3.6.0.jar

2. 放入hive的lib目录

因为本人搭建的是CDH版本的hadoop集群,所以hive的lib目录在:

/opt/cloudera/parcels/CDH/lib/hive/lib

把上面三个jar包分别放入集群每个节点上的目录中。然后做成软链接,如下:

ln -s mongo-hadoop-hive-2.0.2.jar mongo-hadoop-hive.jar

ln -s mongo-hadoop-core-2.0.2.jar mongo-hadoop-core.jar

ln -s mongo-java-driver-3.6.0.jar mongo-java-driver.jar

如图:

  

3. mongdb中插入一些测试数据:

db.student.insert({"name":"张三","age":"22","sex":"男","class":"计算机2班"});//如果数据库中不存在集合,就创建

db.student.insert({"name":"李四","age":"23","sex":"女","class":"计算机3班"});

db.student.insert({"name":"王五","age":"24","sex":"男","class":"计算机2班"});

db.student.insert({"name":"刘六","age":"25","sex":"男","class":"计算机3班"});

db.student.insert({"name":"赵七","age":"26","sex":"女","class":"计算机3班"});

db.student.insert({"name":"吴八","age":"28","sex":"女","class":"计算机2班"});

4. hive 中创建表

create external table student

  ( id string,

  name string,

  age string,

  sex string,

  class string

  )

  stored by ‘com.mongodb.hadoop.hive.MongoStorageHandler‘

  with serdeproperties(‘mongo.columns.mapping‘=‘{"id":"_id","name":"name","age":"age","sex":"sex","class":"class"}‘)

  tblproperties(‘mongo.uri‘=‘mongodb://root:[email protected]:40000/test_v3.student‘);

  查询数据如下:

    select * from student;

    

  数据是实时同步的:

    mongodb中插入一条数据如下:

      db.student.insert({"name":"杨十","age":"28","sex":"男","class":"计算机3班"});

      在做查询:

      

    mongodb中修改一条数据如下:

      db.student.update({"name":"张三"},{$set:{"name":"张无忌"}});#只想改某个key的value使用set

      

    mongodb中删除一条数据如下:

      db.student.remove({"name":"张无忌"});#删除

      

      看张无忌大哥已经不在了,缅怀一下下。

原文地址:https://www.cnblogs.com/xiqing/p/9673834.html

时间: 2024-10-13 08:01:32

CDH5.15.1 hive 连接mongodb配置及增删改查的相关文章

使用MyEclipse对MongoDB数据库 进行增删改查操作

前面写了一篇MongoDB的下载与安装,接下来此篇写的是MongoDB数据库在JAVA程序中的基本功能: 使用MyEclipse对MongoDB数据库进行增删改查操作 1.导入JAR包 使用了Spring3.0:此类包,可以上网查询"MongoDB相关JAR包" 2.创建一个Person实体类 源代码如下: public class Person(){ //属性 Private String id; //id Private String name; //name Private in

java jdbc 连接mysql数据库 实现增删改查

好久没有写博文了,写个简单的东西热热身,分享给大家. jdbc相信大家都不陌生,只要是个搞java的,最初接触j2ee的时候都是要学习这么个东西的,谁叫程序得和数据库打交道呢!而jdbc就是和数据库打交道非常基础的一个知识,也是比较接近底层的,在实际的工作中大家用得更多的其实还是比较成熟的框架,例如Hibernate.Mybatis. 但是作为这些成熟框架的底层的jdbc却也是我们应该去掌握的,只有了解了jdbc的增删改查,这样在以后如果有兴趣去研究Hibernate或者Mybatis的源代码的

MongoDB 笔记一--MongoDB基本环境配置及增删改查;

一.基本环境配置: 1,首先到官网(http://www.mongodb.org/downloads )下载合适的安装包,然后一步一步next安装,当然可以自己更改安装目录:安装完成之后,配置环境变量,找到安装目录下的bin文件夹,在电脑环境变量里,加入其路径(D:\MongoDB\bin,我安装在D盘内): 2,建立一个用于存放数据库文件的目录:windows默认使用C:\data\db作为数据目录.但是在安装过程中,不会自动建立文件或者文件夹,需要自己创建.当然我们也可以在系统的任意位置创建

nodejs对mongodb数据库的增删改查操作(转载)

首先要确保mongodb的正确安装,安装参照:http://docs.mongodb.org/manual/tutorial/install-mongodb-on-debian-or-ubuntu-linux 另外可以参考我的另一篇博文 http://www.cnblogs.com/sexintercourse/p/5774310.html 指导mongo和nodejs的开发 然后下载nodejs的mongodb的driver npm install mongodb 编写一个测试的程序: 1 v

肝 hibernate 配置and增删改查 and 测试

已经通宵三天撸代码了,现在的我已经养成晚上修仙写代码的节奏了.....最近 刚刚复习到了 hibernate 谈谈 这篇文章就谈谈我对这货的理解吧. 在看这篇文章之前希望你 知道sessionfactory 和session 还有 transaction(事物) 诶嘿不造的可以去看看http://blog.csdn.net/u012377333/article/details/48086193  OK正题开始 步骤 我们需要一个可以持久化的bean类 还有它的附属映射 hbm.xml文件 以及d

GreenDao数据库框架的配置与增删改查

并非原创,原创地址http://blog.csdn.net/njweiyukun/article/details/51893092 配置---------------------------------- 项目的gradle里的配置 apply plugin: 'org.greenrobot.greendao' buildscript { repositories { mavenCentral() } dependencies { classpath 'org.greenrobot:greend

Node 连接Mysql并进行增删改查

NPM: NPM的全称是Node Package Manager,类似于ruby的gem,Python的PyPL.setuptools,PHP的pear,是Nodejs中的包管理器.Nodejs自身提供了基本的模块.但是在这些基本模块上开发实际应用需要较多的工作.NPM上已经有近万个Nodejs库或框架,这些库从各个方面可以帮助Nodejs的开发者完成较为复杂的应用. 安装NPM(Unix下): curl http://npmjs.org/install.sh | sh 利用NPM安装Node模

php连接MySQL数据库及增删改查

  1.连接MySQL数据库$conn = new mysqli($host,$user,$password); $conn -> query('set names utf8'); //设置字符编码,避免存入中文数据乱码$conn -> select_db('db'); //选择自己建立的数据库(db) 1.1 判断连接状态if (!$conn) { die("数据库连接异常");} //数据库的创建$db = "create database db";

sql server连接oracle并实现增删改查

需要一个软件ODAC112040Xcopy_64bit 我连接的oracle是11g r2  sqlserver 是 2016 软件下载 https://pan.baidu.com/s/1OpYmpReEJcPg4wNESWy61Q 服务器先安装.net 2.0和3.5 安装好以后 解压ODAC112040Xcopy_64bit 最好是放到磁盘跟目录,不要有带中文目录名 打开cmd 进入解压目录 运行命令 install.bat all c:\oracle odac 安装好以后c盘会有一个ora