全文检索:haystack+elasticsearch

优点:
1.查询速度快
2.支持中文分词
准备工作:安装es软件
1.拷贝到ubuntu
2.docker load -i 文件路径
3.配置
修改ip地址
4.docker run -dti
--network=host
--name=elasticsearch
-v /home/python/elasticsearch-2.4.6/config(本地文件路径):/usr/share/elasticsearch/config
delron/elasticsearch-ik:2.4.6-1.0

1.安装
2.注册
3.配置,可以修改ip、库名称
4.建立索引类:可修改模型类、查询集
5.建立模板:search/indexes/应用名称/模型类小写_text.txt
6.定义可搜索的属性:{{object.属性名称}}
7.生成初始索引数据:python manage.py rebuild_index
8.定义序列化器:指定object使用的序列化器,object表示查询到的对象,当前为SKU对象
9.定义视图:指定模型类
10.调用查询

具体步骤

获取镜像,可以通过网络pull

docker image pull delron/elasticsearch-ik:2.4.6-1.0

修改elasticsearch的配置文件 elasticsearc-2.4.6/config/elasticsearch.yml第54行,更改ip地址为本机ip地址

network.host: 自己机器的IP地址

创建docker容器运行(config文件的路径要改为自己本机的路径)

docker run -dti --network=host --name=elasticsearch -v /home/python/elasticsearch-2.4.6/config:/usr/share/elasticsearch/config delron/elasticsearch-ik:2.4.6-1.0

使用haystack对接Elasticsearch

我们在django中可以通过使用haystack来调用Elasticsearch搜索引擎

1)安装

pip install drf-haystack
pip install elasticsearch==2.4.1

2)注册应用

INSTALLED_APPS = [
    ...
    ‘haystack‘,
]

3)配置

在配置文件中配置haystack使用的搜索引擎后端

# Haystack
HAYSTACK_CONNECTIONS = {
    ‘default‘: {
        ‘ENGINE‘: ‘haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine‘,
        # 端口号固定为9200
        ‘URL‘: ‘http://es的IP:9200/‘,
        # 指定elasticsearch建立的索引库的名称
        ‘INDEX_NAME‘: ‘meiduo_mall‘,
    },
}

# 当添加、修改、删除数据时,自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = ‘haystack.signals.RealtimeSignalProcessor‘

4)创建索引类

通过创建索引类,来指明让搜索引擎对哪些字段建立索引,也就是可以通过哪些字段的关键字来检索数据。

在goods应用中新建search_indexes.py文件,用于存放索引类

from haystack import indexes

from .models import SKU

class SKUIndex(indexes.SearchIndex, indexes.Indexable):
    """
    SKU索引数据模型类
    """
    text = indexes.CharField(document=True, use_template=True)

    def get_model(self):
        """返回建立索引的模型类"""
        return SKU

    def index_queryset(self, using=None):
        """返回要建立索引的数据查询集"""
        return self.get_model().objects.filter(is_launched=True)

在SKUIndex建立的字段,都可以借助haystack由elasticsearch搜索引擎查询。

其中text字段我们声明为document=True,表名该字段是主要进行关键字查询的字段, 该字段的索引值可以由多个数据库模型类字段组成,具体由哪些模型类字段组成,我们用use_template=True表示后续通过模板来指明。

在REST framework中,索引类的字段会作为查询结果返回数据的来源。

5)在templates目录中创建text字段使用的模板文件

具体在templates/search/indexes/goods/sku_text.txt文件中定义

{{ object.name }}
{{ object.caption }}

此模板指明当将关键词通过text参数名传递时,可以通过sku的name、caption、id来进行关键字索引查询。

6)手动生成初始索引

python manage.py rebuild_index

7)创建序列化器

在goods/serializers.py中创建haystack序列化器

from drf_haystack.serializers import HaystackSerializer
from .search_indexes import SKUIndex

class SKUIndexSerializer(HaystackSerializer):
    """
    SKU索引结果数据序列化器
    """
    object = SKUSerializer(read_only=True)

    class Meta:
        index_classes = [SKUIndex]
        fields = (
            ‘text‘,  # 用于接收查询关键字
            ‘object‘  # 用于返回查询结果
        )
  1. 下面的搜索视图使用SKUIndexSerializer序列化器用来检查前端传入的参数text,并且检索出数据后再使用这个序列化器返回给前端;
  2. SKUIndexSerializer序列化器中的object字段是用来向前端返回数据时序列化的字段。

8)创建视图

在goods/views.py中创建视图

该视图会返回搜索结果的列表数据,所以可以为视图增加REST framework的分页功能。

from drf_haystack.viewsets import HaystackViewSet
from .serializers import SKUIndexSerializer

class SKUSearchViewSet(HaystackViewSet):
    """
    SKU搜索
    """
    index_models = [SKU]

    serializer_class = SKUIndexSerializer  pagination_class = StandardResultsSetPagination

9)定义路由

在goods/urls.py中通过REST framework的router来定义路由

from rest_framework.routers import DefaultRouter

...

router = DefaultRouter()
router.register(‘skus/search‘, views.SKUSearchViewSet, base_name=‘skus_search‘)

urlpatterns += router.urls

如果在配置完haystack并启动程序后,出现如下异常,是因为drf-haystack还没有适配最新版本的REST framework框架

可以通过修改REST framework框架代码,补充_get_count函数定义即可

文件路径 虚拟环境下的 lib/python3.6/site-packages/rest_framework/pagination.py

def _get_count(queryset):
    """
    Determine an object count, supporting either querysets or regular lists.
    """
    try:
        return queryset.count()
    except (AttributeError, TypeError):
        return len(queryset)

分页:

from rest_framework.pagination import PageNumberPagination

class StandardResultsSetPagination(PageNumberPagination):
    page_size = 2
    page_size_query_param = ‘page_size‘
    max_page_size = 20

原文地址:https://www.cnblogs.com/omak/p/10116914.html

时间: 2024-10-08 20:33:35

全文检索:haystack+elasticsearch的相关文章

全文检索选择-------- Elasticsearch与Solr

Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎.它可以帮助你用前所未有的速度去处理大规模数据. 它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合. Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎,可以说Lucene是当今最先进,最高效的全功能开源搜索引擎框架. 但是Lucene只是一个框架,要充分利用它的功能,需要使用JAVA,并且在程序中集成Lucene.需要很多的学习了解,才

全文检索(elasticsearch入门)

Elasticsearch篇: Elasticsearch是一个采用java语言开发的,基于Lucene构造的开源,分布式的搜索引擎. 设计用于云计算中,能够达到实时搜索,稳定可靠. Elasticsearch的数据模型是JSON. 对于需要分布式需求的这是一个非常好的选择,部署简单,同网段内会自动组成集群服务无需配置.其集成数据库同步插件,不仅支持几乎实时的全文检索服务,还支持距离查询,提供类似类似百度地图离我最近查询. 官方主页:http://www.elasticsearch.org/ 中

全文检索及ElasticSearch框架学习

1.   全文检索的通用步骤: 1.建库步骤: a 分词 b 倒排索引   :  关键词和记录Id的对应关系,1对多. 2.查询步骤: a 分词 b 查索引 c 取交集或并集 2.    产品使用全文检索的一种场景 如上图, 由数据库或者应用软件生成数据,通过logstash导入elasticSearch系统. Kibana提供了可视化界面或者命令模式可以查询分析系统数据. 当然,elasticSearch也提供了rest接口,可以在各种应用程序中自己调用. 当然了,elasticSearch最

Elasticsearch使用备忘

最近我们需要对大约2T(6.5亿条)日志做全文检索,Elasticsearch看起来很火爆,又有很多产品使用(Facebook.github.stackoverflow),值得一试.以下是一些基础知识笔记. Elasticsearch是一个基于Lucene构建的开源.分布式.RESTful的搜索引擎,能够实现近实时(NRT)搜索,稳定.可靠.安装方便.性能不错.水平扩展.文档齐全.社区火爆,这几点很重要. 如果之前已经了解过分布式存储系统.query切词.检索相关性策略,Elasticsearc

Elasticsearch技术解析与实战 PDF (内含目录)

Elasticsearch技术解析与实战 下载地址:https://pan.baidu.com/s/1q46lwAqzbUMs0qbKyBNBqg 关注微信公众号获取提取码: 输入:esjs     获取提取码.                                   介绍: Elasticsearch是一个强[0大0]的搜索引擎,提供了近实时的索引.搜索.分析功能.本书作者根据自己多年的开发经验,总结了使用和开发Elasticsearch的实战经验.本书全面介绍Elasticsea

《死磕 Elasticsearch 方法论》:普通程序员高效精进的 10 大狠招!(完整版)

原文:<死磕 Elasticsearch 方法论>:普通程序员高效精进的 10 大狠招!(完整版) 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/wojiushiwo987/article/details/79293493 人工智能.大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需.Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃

Elasticsearch 知识点整理 一

极力推荐: 官网地址: https://www.elastic.co/guide/en/elasticsearch/reference/6.0 肺腑之言,学ES先学原生的语法,SpringData封装的是太好用了,但是没玩过原生的语法,可能不知道Spring提供的API在干什么 核心概念: Near Realtime (NRT) 在ES中进行搜索是近实时的,意思是数据从写入ES到可以被searchable仅仅需要1秒钟,因此说基于ES执行的搜索和分析可以达到秒级 Cluster 集群 , 集群是

技术文章写作及运营的技巧:分析篇 | 什么样的文章受欢迎?

对于以技术为核心的技术博客来说,人们是冲着他们需要的内容去的,绝大多数情况下都不是在闲逛.如果你的网站里没有他想要的东西的话,他便会离开,人们是出于目的去搜索,基于动机,而不是无聊的在闲逛.无聊的话,他们更多的会去刷刷朋友圈的,看看鸡汤. 文章的类型 依据我的经验,我将技术博客分为下面几种类型: 文章类型 频率 时间 技术细节型 几次/天 15~30分钟 干货型 几次/月 1~2小时 实践总结型 几次/ 周 2+小时 杂谈与鸡汤型 几次/季度 1 + 小时 ~ 几个月 并且他们的流量来源大概来源

万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系

转自:http://www.infoq.com/cn/articles/trillion-log-and-data-storage-query-techniques?utm_source=infoq&utm_medium=popular_widget&utm_campaign=popular_content_list&utm_content=homepage 目前大数据存储查询方案大概可以分为:Hbase系.Dremel系.预聚合系.Lucene系,笔者就自身的使用经验说说这几个系