elasticsearch使用那点事

LZO表创建:

create table lzoer(id int,name string, ip string)ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,‘ STORED AS INPUTFORMAT ‘com.hadoop.mapred.DeprecatedLzoTextInputFormat‘ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat‘;

LZO表创建索引:

hadoop jar /usr/hdp/2.2.6.0-2800/hadoop/lib/hadoop-lzo-0.6.0.2.2.6.0-2800.jar  com.hadoop.compression.lzo.DistributedLzoIndexer  hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo

TXT表创建:

CREATE TABLE wubai(id int,name string,ip string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,‘ STORED AS TEXTFILE;

ES表创建:

CREATE EXTERNAL TABLE eswubai(

id bigint,

name string,

ip string)

STORED BY ‘org.elasticsearch.hadoop.hive.EsStorageHandler‘

TBLPROPERTIES(‘es.resource‘ = ‘wubai/wubai‘,‘es.nodes‘=‘ip‘,‘es.port‘=‘9200‘,‘es.nodes.wan.only‘=‘true‘,‘es.mapping.names‘=‘id:esid,name:esname,ip:esage‘);

LOAD数据:

load data local inpath ‘/usr/local/999.txt‘ into table estest.test01_source;

LOAD DATA LOCAL INPATH ‘/usr/local/500.txt.lzo‘ OVERWRITE INTO TABLE lzowubai;

INSERT INTO 数据:

insert overwrite table eswuk select * from wuk;

insert into eser select * from wu;

insert overwrite table web select s.id, s.name, s.ip, s.time from test01_source s;

时间: 2024-10-12 22:13:41

elasticsearch使用那点事的相关文章

(转)一些国外优秀的elasticsearch使用案例

Github “Github使用Elasticsearch搜索20TB的数据,包括13亿的文件和1300亿行的代码” 这个不用介绍了吧,码农们都懂的,Github在2013年1月升级了他们的代码搜索,由solr转为elasticsearch,目前集群规模为26个索引存储节点和8个客户端节点(负责处理搜索请求),详情请看官方博客 https://github.com/blog/1381-a-whole-new-code-search Foursquare ”实时搜索5千万地点信息?Foursqua

elk入门概念详解

开始第一步 我们现在开始进行一个简单教程,它涵盖了一些基本的概念介绍,比如索引(indexing).搜索(search)以及聚合(aggregations).通过这个教程,我们可以让你对Elasticsearch能做的事以及其易用程度有一个大致的感觉. 我们接下来将陆续介绍一些术语和基本的概念,但就算你没有马上完全理解也没有关系.我们将在本书的各个章节中更加深入的探讨这些内容. 所以,坐下来,开始以旋风般的速度来感受Elasticsearch的能力吧! 让我们建立一个员工目录 假设我们刚好在Me

[数据库]漫谈ElasticSearch关于ES性能调优几件必须知道的事(转)

ElasticSearch是现在技术前沿的大数据引擎,常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统,其中Logstash是ETL工具,Kibana是数据分析展示平台.ES让人惊艳的是他强大的搜索相关能力和灾备策略,ES开放了一些接口供开发者研发自己的插件,ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用.ElasticSearch是使用开源全文检索库ApacheLucene进行索引和搜索的,说架构必须和Lucene的一些东西打交道. 关于Lucene: Ap

漫谈ElasticSearch关于ES性能调优几件必须知道的事(转)

ElasticSearch是现在技术前沿的大数据引擎,常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统,其中Logstash是ETL工具,Kibana是数据分析展示平台.ES让人惊艳的是他强大的搜索相关能力和灾备策略,ES开放了一些接口供开发者研发自己的插件,ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用.ElasticSearch是使用开源全文检索库ApacheLucene进行索引和搜索的,说架构必须和Lucene的一些东西打交道. 关于Lucene: Ap

Elasticsearch Kibana试用

Kibana是一个用于ElasticSearch分析和查询的仪表盘,关于Kibana的介绍原文如此.值得注意的是Kibana把分析放在了查询的前面,这大概是Kibana区分于其它客户端的地方. 关于Kibana的介绍和文档请参考这里. 除此以外我还是用了了head和bigdesk,当然他们的定位几乎是不同的.head用于数据的浏览和查询相当简介好用,bigdesk用于ElasticSearch的集群状态监控,Kibana呢?具备查询功能,但是最吸引人的应该是它牛逼的图标和表现能力吧.至少在深入之

Elasticsearch的学习笔记

在介绍Elasticsearch的用法之前先讲讲为什么要用它吧.首先学习搜索引擎,肯定不可避免的都听过lucene,solr和Elasticsearch都是基于它的.spinx文章很多,但是数据库的入侵性太强(插件模式).Elasticsearch是当下最流行的分布式搜索引擎之一.solr也稍微玩过,文章也多.同时也希望能通过Elasticsearch进一步学习完善自己对于分布式的学习.更深入的同学可以考虑开始学习ELK(Elasticsearch, Logstash, Kibana). 推荐:

使用ElasticSearch,Kibana,ASP.NET Core和Docker可视化数据

想要轻松地通过许多不同的方式查询数据,甚至是从未预料到的方式?想要以多种方式可视化日志?同时支持基于时间.文本和其他类型的即时过滤器? 借助于 Elastic stack 的卓越性能和可扩展方式的优点,我们将通过两个示例轻松实现. 本文由 DNC Magazine for Developers and Architects 发布. 从这里下载此杂志[PDF] 或 免费订阅本杂志 下载所有以前和当前的版本版本. 在这篇文章中,我将介绍流行的搜索引擎 Elasticsearch,其配套的可视化应用

Elasticsearch学习,请先看这一篇!

题记: Elasticsearch研究有一段时间了,现特将Elasticsearch相关核心知识.原理从初学者认知.学习的角度,从以下9个方面进行详细梳理.欢迎讨论-- 0. 带着问题上路--ES是如何产生的? (1)思考:大规模数据如何检索? 如:当系统数据量上了10亿.100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql.sybase.oracle.达梦.神通.mongodb.hbase-) 2)如何解决单点故障:(lvs.F5.A10.Zo

ElasticSearch(8)-分布式搜索

分布式搜索的执行方式 在继续之前,我们将绕道讲一下搜索是如何在分布式环境中执行的. 它比我们之前讲的基础的增删改查(create-read-update-delete ,CRUD)请求要复杂一些. 注意: 本章的信息只是出于兴趣阅读,使用Elasticsearch并不需要理解和记住这里的所有细节. 阅读这一章只是增加对系统如何工作的了解,并让你知道这些信息以备以后参考,所以别淹没在细节里. 一个CRUD操作只处理一个单独的文档.文档的唯一性由_index, _type和routing-value