ElasticSearch和Hive做整合

1、上传elasticsearh-hadoop的jar包到server1-hadoop-namenode-01上

在server1-hadoop-namenode-01上执行：

cp  /home/dinpay/soft/elasticsearch-hadoop-2.3.4.jar /home/dinpay/hive/lib

2、然后修改hive-site.xml文件

cd  /home/dinpay/hive/conf

vi hive-site.xml

增加内容：

<property>

<name>hive.aux.jars.path</name>

<value>file:///home/dinpay/hive/lib/elasticsearch-hadoop-2.3.4.jar</value>

<description>A comma separated list (with no spaces) of the jar files</description>

</property>

时间： 2025-01-16 21:09:53

ElasticSearch和Hive做整合的相关文章

Spark和Hive的整合

Spark和Hive的整合 node1 spark master node2 hive 的服务端-->metastore server 1.拷贝 hive-site.xml 到 spark master的 conf 下 node1 <configuration> <property> <name>hive.metastore.uris</name> <value>thrift://node2:9083</value> <d

activiti和SSH项目做整合

最近因公司的业务需求,需要使用工作流来做我们业务中的流程审批工作,so 就安排我做了这个工作,发现整合的时候有一些问题,及时的记录下来分享给大家. 介绍: 一.如果你的web项目只是单纯的web项目那么只需要将对应的jar包放到lib下构建一下即可 二.如果你的web项目是maven项目那么这里就需要在pom.xml中配置一下依赖包了,我们的项目就是maven项目所以这里重点介绍一下 1.在pom.xml <dependencies></dependencies>这个节点里面加入依

Hive HBase 整合

环境说明: l  hadoop:2.4.0 l  Zookeeper:3.4.6 l  Hbase:0.96 l  Hive:0.13.1   1.  Hive整合HBase原理 Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠Hive安装包\apache-hive-0.13.1-bin\lib\hive-hbase-handler-0.9.0.jar工具类,它负责Hbase和Hive进行通信的. Hive和HBase通信原理如下图: 2.  Hive

K2 如何和 Java 做整合？

本文内容来自K2社区 问题:我们清楚K2 产品是基于.net 平台,我们有需求要将Java平台的表单和K2进行整合,使用K2.可以有什么方案建议? 专家解答: 这个需求也是比较常见的,以下是我的一些经验: 1. K2 作为流程平台,是提供多样形式的接口. 官方默认API有,引用DLL, Webservice SOAP接口,WCF接口,REST接口. 我想 Java 调用Webservice, REST接口是没有问题的. 甚至乎可以自己通过引用DLL, 二次封装成自己的Webservice 为 J

使用elasticsearch和filebeat做日志收集

在存储数据之前,elasticsearch可以使用Ingest Node对数据做预处理.https://www.elastic.co/guide/en/beats/filebeat/current/configuring-ingest-node.html 1 使用ingest功能 1.1 定义一个pipeline 例如grib2-pipeline.jsongrok可以使用预定义Patterns(%{Pattern:name}匹配提取字段),也可以直接使用正则表达式(分组命名提取字段) 1.2 将

为什么Elasticsearch不适合做数据存储？（转学习使用）

一.问题描述 公司想尝试使用Elasticsearch来存一部分数据,以此缓解数据增长带来的对数据库的压力.在研究了一段时间后,发现Elasticsearch不适合作为数据存储使用. 二.理由如下 1.mapping不可改,不能改index属性.Elasticsearch中以定义的mapping不能修改名字和属性,无法修改名字勉强能接受,但无法需要改属性. 官方文档中介绍了几种修改mapping的方法.一个是新建一个字段,程序中所有地方修改名字,这对于复杂的项目容易出错,而且无法保留原来的数据:

关于HIVE做MapReduce报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

大部分人没有交换分区的问题. 因为在做Linux的时候交换分区是按照内存的2倍来做的.但是我的是用VM快速装机做的.所以交换分区被设置成了等于内存. 扩展交换分区:https://blog.csdn.net/Ares_song/article/details/81203251 永久添加该文件:https://blog.csdn.net/kai_wei/article/details/53582811 另外MYSQL一个重复IP连接问题可能导致HIVE初始化实例失败,需要在所在用户执行:https

sparkSql和hive的整合之mysql报错

# hive # show databases; hive> show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 查看log日志: hive.lo

SpringBoot整合ElasticSearch实现多版本的兼容

前言 在上一篇学习SpringBoot中,整合了Mybatis.Druid和PageHelper并实现了多数据源的操作.本篇主要是介绍和使用目前最火的搜索引擎ElastiSearch,并和SpringBoot进行结合使用. ElasticSearch介绍 ElasticSearch是一个基于Lucene的搜索服务器,其实就是对Lucene进行封装,提供了 REST API 的操作接口 ElasticSearch作为一个高度可拓展的开源全文搜索和分析引擎,可用于快速地对大数据进行存储,搜索和分析.