Sphinx 安装与使用

Sphinx 优点

  • 高速索引(接近10M/S)
  • 高速搜索(2-4G文本搜索耗时不到0.1秒)
  • 高可用性(单CPU支持100GB文本,100M文档)
  • 提供相关性排名、分布式搜索、文档摘要(高亮显示)

Sphinx 缺点

  • 必须有主键
  • 主键必须是整形
  • 不负责数据存储
  • 配置复杂

Sphinx是介于PHP和mysql的中间层,它提供比mysql更专业的搜索功能,性能更高,因为存在于mysql之前,可以更好的缓解数据库压力

安装

sudo apt-get install sphinxsearch -y

安装完成后在 / etc / sphinxsearch / 目录下有以下4个文件

example.sql 数据源,用于测试

sphinx.conf.dist 完整的配置,包含全部配置

sphinx.conf.sample 配置参考

sphinx-min.conf.dist  精简配置,包含主要配置



我们来看看 sphinx-min.conf.dist 中的配置项

拷贝sphinx-min.conf.dist 到当前目录下 sphinx.conf

源配置:

source src1
{
    type            = mysql

    sql_host        = localhost
    sql_user        = test
    sql_pass        =
    sql_db          = test
    sql_port        = 3306  # optional, default is 3306

    sql_query       =         SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content         FROM documents

    sql_attr_uint       = group_id
    sql_attr_timestamp  = date_added
}

块包含源代码,用户名和密码到MySQL服务器的类型。 所述的第一列sql_query应该是唯一的ID。 SQL查询将在每个索引上运行,并将数据转储到Sphinx索引文件。 下面是每个字段和源块本身的描述。

  • type :数据源索引的类型。 在我们的例子,这是MySQL。 其他支持的类型包括pgsql,mssql,xmlpipe2,odbc等。
  • sql_host :主机名MySQL的主机。 在我们的例子,这是localhost 。 这可以是域或IP地址。
  • sql_user :数据库用户名
  • sql_pass :密码
  • sql_db :存储数据的数据库的名称
  • sql_query :查询从数据库到索引那转储数据。

索引配置:

index test1
{
    source          = src1
    path            = /var/lib/sphinxsearch/data/test1
}
  • source :源块的名称。 在我们的例子,这是src1的 。
  • path :路径保存索引。

端口和常量配置:

searchd
{
    listen          = 9312
    listen          = 9306:mysql41
    log         = /var/lib/sphinxsearch/log/searchd.log
    query_log       = /var/lib/sphinxsearch/log/query.log
    read_timeout        = 5
    max_children        = 30
    pid_file        = /var/run/sphinxsearch/searchd.pid
    seamless_rotate     = 1
    preopen_indexes     = 1
    unlink_old      = 1
    workers         = threads # for RT to work
    binlog_path     = /var/lib/sphinxsearch/data
}

searchd的组件包含端口和其他变量来运行Sphinx守护进程。

  • listen :这Sphinx守护进程运行的端口,后面的协议。 在我们的例子,这是9306:mysql41。 已知的协议是:Sphinx (SphinxAPI)和:mysql41(SphinxQL)
  • query_log :路径保存查询日志
  • pid_file :到Sphinx守护进程的PID文件的路径。
  • seamless_rotate :同时旋转海量数据预缓存的指标,防止searchd的摊位。
  • preopen_indexes :是否强行盘前在启动时的所有索引。
  • unlink_old :是否删除成功旋转旧的索引拷贝。

管理索引

将数据添加到Sphinx索引

sudo indexer --all
Sphinx 2.2.9-id64-release (rel22-r5006)
Copyright (c) 2001-2015, Andrew Aksyonoff
Copyright (c) 2008-2015, Sphinx Technologies Inc (http://sphinxsearch.com)

using config file ‘/etc/sphinxsearch/sphinx.conf‘...
indexing index ‘test1‘...
collected 4 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 4 docs, 193 bytes
total 0.032 sec, 5922 bytes/sec, 122.75 docs/sec
skipping non-plain index ‘testrt‘...
total 4 reads, 0.000 sec, 0.1 kb/call avg, 0.0 msec/call avg
total 12 writes, 0.000 sec, 0.1 kb/call avg, 0.0 msec/call avg

表示创建索引成功

在生产环境中,有必要保持索引为最新。 为了做到这一点,让我们创建一个cronjob。 首先,打开crontab

crontab -e

可能会询问您要使用哪个文本编辑器。 选择你喜欢的; 在本教程中,我们使用nano 。

随后的cronjob将每小时运行一次,并使用我们之前创建的配置文件向索引添加新数据。 将其复制并粘贴到文件末尾,然后保存并关闭文件

@hourly /usr/bin/indexer --rotate --config /etc/sphinxsearch/sphinx.conf --all

现在Sphinx已经完全设置和配置,我们可以启动服务并尝试



启动 sphinx

默认情况下,Sphinx守护程序关闭。 首先,我们将改变这一行启用START=noSTART=yes/etc/default/sphinxsearch

sudo sed -i ‘s/START=no/START=yes/g‘ /etc/default/sphinxsearch

然后,使用systemctl重启Sphinx守护进程

sudo systemctl restart sphinxsearch.service

要检查Sphinx守护程序是否正确运行,请运行

sudo systemctl status sphinxsearch.service



测试

现在,一切都设置好了,让我们测试搜索功能。 使用MySQL接口连接到SphinxQL(在端口9306上)。 您提示将改变为mysql>

mysql -h0 -P9306

搜索:test1 代表sphinx配置文件中索引名称  match(搜索条件)

select * from test1 where match(‘another‘);

测试关键字

CALL KEYWORDS (‘test one three‘, ‘test1‘, 1);

输出:

+------+-----------+------------+------+------+
| qpos | tokenized | normalized | docs | hits |
+------+-----------+------------+------+------+
| 1    | test      | test       | 3    | 5    |
| 2    | one       | one        | 1    | 2    |
| 3    | three     | three      | 0    | 0    |
+------+-----------+------------+------+------+
3 rows in set (0.00 sec)

在结果上面可以看到,在test1的指数,Sphinx发现:

  • 5个匹配在3个文档中的关键字‘test‘
  • 2在1个文档中匹配关键字“1”
  • 0匹配0个文档中的关键字‘three‘

原文地址:https://www.cnblogs.com/xiaoliwang/p/9484897.html

时间: 2024-11-06 10:19:08

Sphinx 安装与使用的相关文章

Sphinx 安装与使用(1)-- 安装Coreseek

Coreseek就是Sphinx的中文版 官方网站 http://www.coreseek.cn/ 一.安装 1.修改LANG 永久修改: vim /etc/locale.conf LANG="zh_CN.UTF-8" 临时修改 export LANG="zh_CN.UTF-8" export LC_ALL="zh_CN.UTF-8" 2.安装依赖包 yum install make gcc g++ gcc-c++ libtool autocon

Sphinx安装配置及API调用实战手册

这几天项目中需要重新做一个关于商品的全文搜索功能,于是想到了用Sphinx,因为需要中文分词,所以选择了Sphinx for chinese,当然你也可以选择coreseek,建议这两个中选择一个,暂时不要选择原版Sphinx(对中文的支持不是很好).又因为服务器所用MySQL在当时编译时并没有编译Sphinx扩展,而重新编译MySQL并加入Sphinx暂时又无法实现(项目用到了多台服务器,在不影响现有业务的情况下不可能去重新编译MySQL的),所以采用的是程序通过API来外部调用Sphinx.

Sphinx安装流程及配合PHP使用经验

1.什么是Sphinx Sphinx是俄罗斯人Andrew Aksyonoff开发的高性能全文搜索软件包,在GPL与商业协议双许可协议下发行. 全文检索式指以文档的全部文本信息作为检索对象的一种信息检索技术.检索的对象有可能是文章的标题,也有可能是文章的作者,也有可能是文章的摘要或内容.常用于新闻,论坛评论等的模糊查询. 2.Sphinx的特性 高速索引(在新款CPU上,近10MB/S); 高速搜索(2-4G的文本量平均查询速度不到0.1秒); 高可用性(单CPU上最大可支持100GB的文本,1

centos下 rpm包sphinx安装的目录

sphinx: /etc/sphinx /usr/share/sphinx Sphinx installed! Now create a full-text index, start the search daemon, and you're all set. To manage indexes: editor /etc/sphinx/sphinx.conf To rebuild all disk indexes: sudo -u sphinx indexer --all --rotate To

coreseek(sphinx)安装2(mysql数据源配置和测试)

Windows操作系统下 mysql数据源配置: 主要步骤:  配置mysql数据源配置文件->生成索引->开启索引   (三步) coreseek\etc\csft_mysql.conf     (以下是我的配置文件) #源定义 source mysql { type                    = mysql            #表示mysql数据源 sql_host                = localhost          #数据库服务器链接,127.0.0.

Sphinx 安装

Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎.意图为其他应用提供高速.低空间占用.高结果 相关度的全文搜索功能.由于开发要求Sphinx中文分词,安装环境,就做下笔记 [[email protected] mmseg-3.2.14]# yum -y install make gcc g++ gcc-c++ libtool autoconf automake imake  [[email protected] mmseg-3.2.14]# yum install 

Sphinx 安装与使用(2)-- 配置Coreseek

1.必须先关闭守护进程才能做其他的操作(第一次启动不需要这一步) /usr/local/coreseek/bin/searchd --config /usr/local/coreseek/etc/test.conf --stop 2.删掉原来的配置文件(第一次启动不需要这一步) cd /usr/local/coreseek/etc/ rm test.comf 3.重新设置配置文件 cd /usr/local/coreseek/etc/ vim test.conf 文件内容根据具体需求配置,具体需

sphinx安装

相关命令及步骤    创建主索引:        /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft.conf --all    创建增量索引:        1. 创建测试数据表以及数据        2. 修改配置文件            主索引源:sql_query_pre            增量索引源:sql_query_pre  sql_query  sql_query_post            主

Sphinx学习之sphinx的安装篇

一.  Sphinx简介 Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎.意图为其他应用提供高速.低空间占用.高结果 相关度的全文搜索功能.Sphinx可以非常容易的与SQL数据库和脚本语言集成.当前系统内置MySQL和PostgreSQL 数据库数据源的支持,也支持从标准输入读取特定格式 的XML数据. Sphinx的特性如下: a)  高速的建立索引(在当代CPU上,峰值性能可达到10 MB/秒); b)  高性能的搜索(在2 – 4GB 的文本数据上,平均每