Haystack

什么是Haystack

Haystack是django的开源全文搜索框架(全文检索不同于特定字段的模糊查询,使用全文检索的效率更高 ),该框架支持Solr,Elasticsearch,Whoosh**Xapian搜索引擎它是一个可插拔的后端(很像Django的数据库层),所以几乎你所有写的代码都可以在不同搜索引擎之间便捷切换

安装

pip install django-haystack

配置

###添加Haystack到INSTALLED_APPS

跟大多数Django的应用一样,你应该在你的设置文件(通常是settings.py)添加Haystack到INSTALLED_APPS. 示例:

INSTALLED_APPS = [
    ‘django.contrib.admin‘,
    ‘django.contrib.auth‘,
    ‘django.contrib.contenttypes‘,
    ‘django.contrib.sessions‘,
    ‘django.contrib.sites‘,
?
    # 添加
    ‘haystack‘,
?
    # 你的app
    ‘blog‘,
]

###修改settings.py

在你的settings.py中,你需要添加一个设置来指示站点配置文件正在使用的后端,以及其它的后端设置。 HAYSTACK——CONNECTIONS是必需的设置,并且应该至少是以下的一种:

Solr示例

HAYSTACK_CONNECTIONS = {
    ‘default‘: {
        ‘ENGINE‘: ‘haystack.backends.solr_backend.SolrEngine‘,
        ‘URL‘: ‘http://127.0.0.1:8983/solr‘
        # ...or for multicore...
        # ‘URL‘: ‘http://127.0.0.1:8983/solr/mysite‘,
    },
}

Elasticsearch示例

HAYSTACK_CONNECTIONS = {
    ‘default‘: {
        ‘ENGINE‘: ‘haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine‘,
        ‘URL‘: ‘http://127.0.0.1:9200/‘,
        ‘INDEX_NAME‘: ‘haystack‘,
    },
}

Whoosh示例

#需要设置PATH到你的Whoosh索引的文件系统位置
import os
HAYSTACK_CONNECTIONS = {
    ‘default‘: {
        ‘ENGINE‘: ‘haystack.backends.whoosh_backend.WhooshEngine‘,
        ‘PATH‘: os.path.join(os.path.dirname(__file__), ‘whoosh_index‘),
    },
}

Xapian示例

#首先安装Xapian后端(http://github.com/notanumber/xapian-haystack/tree/master)
#需要设置PATH到你的Xapian索引的文件系统位置。
import os
HAYSTACK_CONNECTIONS = {
    ‘default‘: {
        ‘ENGINE‘: ‘xapian_backend.XapianEngine‘,
        ‘PATH‘: os.path.join(os.path.dirname(__file__), ‘xapian_index‘),
    },
}

处理数据

创建SearchIndexes

SearchIndexes对象是Haystack决定那些数据应该放入索引和处理流数据的方式。你可以把它们看作是Django的ModelsForms,它们是基于字段和数据操作/存储的。

你通常为你期望索引的每一个Model都创建一个唯一的SearchIndex。虽然你可以在不同的model中重复使用相同的SearchIndex,只要你小心的做并且字段名很规范。

为了建立SearchIndex,所有的都是indexes.SearchIndexindexe.Indexable的子类。定义要存储数据的字段,定义get_model方法。

我们会在下面创建和Note模型对应的NoteIndex。这个代码通常在search_indexes.py中。尽管这不是必须的。这使得Haystack能自动的检测到它。NoteIndex应该看起来像:

import datetime
from haystack import indexes
from myapp.models import Note
?
class NoteIndex(indexes.SearchIndex, indexes.Indexable):
    text = indexes.CharField(document=True, use_template=True)
    author = indexes.CharField(model_attr=‘user‘)
    pub_date = indexes.DateTimeField(model_attr=‘pub_date‘)
?
    def get_model(self):
        return Note
?
    def index_queryset(self, using=None):
        """Used when the entire index for model is updated."""
        return self.get_model().objects.filter(pub_date__lte=datetime.datetime.now())

每个SerachIndex需要有一个(仅有一个)一个字段document=True.这个指示着Haystack和搜索引擎把那个字段作为主要的检索。

当你选择document=True字段时,它应该在你的SearchIndex类里面始终如一,以避免后端的混淆。一个便捷的命名是text。
在所有的样例中这个text字段名并没有什么特殊。它也可以是其他任何命名,你可以叫它pink_polka_dot也是没有关系的。只是简单便利的交做text。

另外,我们在text字段上提供了use_template=True。这允许我们使用一个数据模板(而不是容易出错的级联)来构建文档搜索引擎索引。你应该在模板目录下建立新的模板search/indexes/myapp/note_text.txt,并将下面内容放在里面。

{{ object.title }}
{{ object.user.get_full_name }}
{{ object.body }}

此外,我们增加了其他字段(authorpub_date)。当我们提供额外的过滤选项的时候这是很有用的。来至Haystack的多个SearchField类能处理大多数的数据。

一个常见的主题是允许管理员用户在未来添加内容,而不马上在网站展示,直到未来某个时间点。我们特别自定义了index_queryset方法来防止未来的这些项添加到索引。

设置视图

添加SearchView到你的URLconf

在你的URLconf中添加下面一行:

(r‘^search/‘, include(‘haystack.urls‘)),

这会拉取Haystack的默认URLconf,它由单独指向SearchView实例的URLconf组成。你可以通过传递几个关键参数或者完全重新它来改变这个类的行为。

搜索模板

你的搜索模板(默认在search/search.html)将可能非常简单。下面的足够让你的搜索运行(你的template/block应该会不同)

{% extends ‘base.html‘ %}
?
{% block content %}
    <h2>Search</h2>
?
    <form method="get" action=".">
        <table>
            {{ form.as_table }}
            <tr>
                <td> </td>
                <td>
                    <input type="submit" value="Search">
                </td>
            </tr>
        </table>
?
        {% if query %}
            <h3>Results</h3>
?
            {% for result in page.object_list %}
                <p>
                    <a href="{{ result.object.get_absolute_url }}">{{ result.object.title }}</a>
                </p>
            {% empty %}
                <p>No results found.</p>
            {% endfor %}
?
            {% if page.has_previous or page.has_next %}
                <div>
                    {% if page.has_previous %}<a href="?q={{ query }}&page={{ page.previous_page_number }}">{% endif %}« Previous{% if page.has_previous %}</a>{% endif %}
                    |
                    {% if page.has_next %}<a href="?q={{ query }}&page={{ page.next_page_number }}">{% endif %}Next »{% if page.has_next %}</a>{% endif %}
                </div>
            {% endif %}
        {% else %}
            {# Show some example queries to run, maybe query syntax, something else? #}
        {% endif %}
    </form>
{% endblock %}

需要注意的是page.object_list实际上是SearchResult对象的列表。这些对象返回索引的所有数据。它们可以通过{{result.object}}来访问。所以{{ result.object.title}}实际使用的是数据库中Note对象来访问title字段的。

重建索引

这是最后一步,现在你已经配置好了所有的事情,是时候把数据库中的数据放入索引了。Haystack附带的一个命令行管理工具使它变得很容易。

简单的运行./manage.py rebuild_index。你会得到有多少模型进行了处理并放进索引的统计。

原文地址:https://www.cnblogs.com/596014054-yangdongsheng/p/10437041.html

时间: 2024-09-30 21:23:01

Haystack的相关文章

分布式文件系统架构GFS、HDFS、TFS、Haystack

分布式文件系统架构GFS.HDFS.TFS.Haystack 分布式文件系统很多,包括GFS,HDFS,淘宝开源的TFS,Tencent用于相册存储的TFS (Tencent FS,为了便于区别,后续称为QFS),以及Facebook Haystack. 分布式文件系统通常可以作为底层存储,如GFS作为Google bigtable的底层,EBS作为 Amazon RDS的底 层,HDFS作为HBase的底层文件系统 其中,TFS,QFS以及Haystack需要解决的问题以及架构都很类似,这三个

Facebook图片存储系统Haystack——存小文件,本质上是将多个小文件合并为一个大文件来降低io次数,meta data里存偏移量

转自:http://yanyiwu.com/work/2015/01/04/Haystack.html 一篇14页的论文Facebook-Haystack, 看完之后我的印象里就四句话: 因为[传统文件系统的弊端] 因为[缓存无法解决长尾问题] 所以[多个图片信息(Needle)存在同一个文件(SuperBlock)中] 所以[显著提高性能] 传统文件系统的弊端 传统的 POSIX 文件系统不适合高性能的图片存储, 主要原因是基于该文件系统来存储的话,是讲每个图片存储成某目录下的一个文件, 每次

Boyer-Moore: Implement strStr() --- find a needle in a haystack

https://www.youtube.com/watch?v=izMKq3epJ-Q Boyer-Moore algrt 关于skip的部分很重要 Implement strStr(). Returns the index of the first occurrence of needle in haystack, or -1 if needle is not part of haystack. public class Solution { public int strStr(String

Django haystack+solr搜索引擎部署的坑.

跟着<<Django by Example>> 一路做下来,到了搭建搜索引擎的步骤 默认的思路是用 obj.objects.filter(body__icontains='framework') 然后把得到的QuerySet 返回到模板中使用 首先要确保你的java版本在 1.7或之上 使用 java -version 查看 http://archive.apache.org/dist/lucene/solr/ 然后到这个网站里下载 Solr 这里我使用的是4.10.4(不同版本之

Facebook Haystack图片存储架构

Facebook Haystack图片存储架构 A- A+ 2013-10-28 18:33| 分享到: OSDI 10中有一篇Facebook图片存储系统Haystack的论文,名称为"Finding a needle in Haystack: Facebook's photo storage".从这篇论文可以看出,数据量大的应用有时也并不复杂. 我们先给Facebook图片存储系统算一笔账.Facebook目前存储了260 billion图片,总大小为20PB,通过计算可以得出每张

Needle in a haystack: efficient storage of billions of photos 【转】

转自09年的blog,因为facebook在国内无法访问,故此摘录. The Photos application is one of Facebook’s most popular features. Up to date, users have uploaded over 15 billion photos which makes Facebook the biggest photo sharing website. For each uploaded photo, Facebook gen

Django使用haystack借助Whoosh实现全文搜索功能

参考文章01: http://python.jobbole.com/86123/ 参考文章02: https://segmentfault.com/a/1190000010866019 参考官网自定制views & forms:    http://django-haystack.readthedocs.io/en/master/views_and_forms.html#highlightedmodelsearchform 注:  参考源码最方便  说明: haystack是django的开源搜

给定一个 haystack 字符串和一个 needle 字符串,在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在,则返回 -1。

def strStr(haystack,needle): len1=len(needle) if len1==0: return 0 for i in range(len(haystack)): if haystack[i:i+len1]==needle: return i return -1 原文地址:https://www.cnblogs.com/zhangtianxia/p/9038426.html

django使用haystack来调用Elasticsearch搜索引擎

如何使用django来调用Elasticsearch实现全文的搜索 环境:django ==1.11.11 Haystack为Django提供了模块化的搜索.它的特点是统一的,熟悉的API,可以让你在不修改代码的情况下使用不同的搜索后端(比如 Solr, Elasticsearch, Whoosh, Xapian 等等). 1.首先安装相关的依赖包: pip install drf-haystack pip install elasticsearch==2.4.1 2. 在django项目配置文

Django rest framework 使用haystack对接Elasticsearch

Haystack为Django提供了模块化的搜索.它的特点是统一的,熟悉的API,可以让你在不修改代码的情况下使用不同的搜索后端(比如 Solr, Elasticsearch, Whoosh, Xapian 等等). 我们在django中可以通过使用haystack来调用Elasticsearch搜索引擎. drf-haystack官方文档: https://drf-haystack.readthedocs.io/en/latest/ 环境:django ==1.11.11 1.首先安装相关的依