集成PHP应用和SOLR

集成 PHP 应用和 Solr 搜索引擎

您的评价:
     
 
 收藏该经验    

你为什么需要搜索引擎?单纯数据库不够用?如果你只是创建小网站,数据库就够了。但当你创建中性或大型应用的时候,搜索引擎是更明智的选择。当然如是一说,小网站也可以利用Solr,获得高相关性的搜索结果。

想象一下你在写一个电子商务网站的搜索查询程序。最直接的想法就是如下的数据库查询语句:

?


1

2

3

SELECT FROM PRODUCTS

WHERE LOWER(title) like LOWER(‘%$phrase%‘)

OR LOWER(description) like LOWER(‘%$phrase%‘);

查询标题或描述中的短语时,它工作正常。但是现实事物很复杂,比如说Apple iPhone 4G black 16GB(苹果4G网络iPhone黑色16GB)。搜索“iPhone 16G”的时候,就没结果。你可以用%替换空格应付这种情况。

?


1

$phrase str_replace(‘ ‘‘%‘$phrase);

那么查询“iPhone 16GB 4G”的时候呢?显然词序改变了,它又无法正常工作。我猜你又会添加一个字段保存词序。那么写错词怎么办?同义词怎么办?为如此的搜索系统想一个好的解决方案很有挑战性。

设计一个精妙的算法不是解决这类问题的关键. 文本的搜素是需要消耗资源的. 将太多的压力放在数据库端永远不是一个好办法. 原因是数据库不能很方便的扩展. 你不能像web server 或者 Memcached一样,简单的增加一个实例.扩展数据库需要一些准备, 代码的修改, 配置, down机维护时间, 总之成本是非常昂贵的. 好消息是Solr就是专门解决这类问题的.

Solr是一个基于Apache Lucene的企业级搜索平台. 快,稳定, 有很好的文档当然扩展起来也很方便. 由于Solr是有个强大的解决方案, 他的所有特性就不在这篇文章里面一一列举了. 这家伙上收起来也是相当easy哦.

首先从官方网站下载最新的版本。Solr是一个由Java语言编写的应用程序,你需要Java Runtime环境才可以运行。

?


1

2

cd solr-4.1.0/example/

$ java -jar start.jar

大概几秒钟后你就可以看到下面的信息:

?


1

2013-03-09 18:47:41.177:INFO:oejs.AbstractConnector:Started [email protected]:8983

Solr有一个web界面,工作在8983端口下,打开浏览器访问http://localhost:8983/solr/.

在左手边的导航区你会找到“collection1″。在Solr中,Collections类似于数据库的表,你可以查询数据。点击一个collection,选择她的子菜单 “query”。

第一个选项叫 “Request-Handler (qt)”,拥有默认值 “/select”。Request handlers是一组预定义查询. 如果你查看Solr config文件,你就会看到是这样的:

?


1

$ vim solr-4.1.0/example/solr/collection1/conf/solrconfig.xml

?


1

2

3

4

5

6

7

<requestHandler name="/select" class="solr.SearchHandler">

    <lst name="defaults">

        <str name="echoParams">explicit</str>

       <int name="rows">10</int>

       <str name="df">text</str>

    </lst>

</requestHandler>

第二个参数才是我们最感兴趣的。默认值 “*:*” 意味着查询任何内容,如果你点击“execute query” ,你可以得到像下面这样的内容:

?


1

2

3

4

5

6

7

8

9

10

11

12

13

<?xml version="1.0" encoding="UTF-8"?>

<response>

    <lst name="responseHeader">

        <int name="status">0</int>

        <int name="QTime">1</int>

        <lst name="params">

        <str name="indent">true</str>

        <str name="q">*:*</str>

        <str name="wt">xml</str>

        </lst>

    </lst>

    <result name="response" numFound="0" start="0" />

</response>

索引结果为空,但这不是什么问题,你需要插入一些示例数据。

?


1

2

3

4

5

6

7

8

cd solr-4.1.0/example/exampledocs/

$ java -jar post.jar monitor.xml

 

SimplePostTool version 1.5

Posting files to base url http://localhost:8983/solr/update using content-type application/xml..

POSTing file monitor.xml

1 files indexed.

COMMITting Solr index changes to http://localhost:8983/solr/update..

现在你可以返回查询界面,这次就会有一个文档返回。

Collection的数据结构是在schema文件中定义的。

?


1

$ vim solr-4.1.0/example/solr/collection1/conf/schema.xml

这个文件有非常多的注释,你可以很容易分辨出他们是做什么的。如果你要修改scheme文件,请不要删除名叫“text”的字段(如果没很好的理由),他是和另外的字段和查询语句中关联的(包括select, look等等)。

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

$ grep text solr-4.1.0/example/solr/collection1/conf/schema.xml | grep copy

 

<copyField source="cat" dest="text"/>

<copyField source="name" dest="text"/>

<copyField source="manu" dest="text"/>

<copyField source="features" dest="text"/>

<copyField source="includes" dest="text"/>

<copyField source="title" dest="text"/>

<copyField source="author" dest="text"/>

<copyField source="description" dest="text"/>

<copyField source="keywords" dest="text"/>

<copyField source="content" dest="text"/>

<copyField source="content_type" dest="text"/>

<copyField source="resourcename" dest="text"/>

<copyField source="url" dest="text"/>

如果你使用的是关系数据库,你不希望有重复的数据。Solr不是一个数据库,多数字段也被处理成文本字段,默认request handler就是这样。

从PHP访问Solr需要一个客户端。我建议从PECL下载一个。它快速,API清晰,文档优良。不过要注意,这个扩展现在版本1.0.2,不支持Solr 4.x。Solr 3.x和4.x的协议有微小不同。不过别担心,我已经做了修改,你可以从https://github.com/lukaszkujawa/php-pecl-solr下载兼容版本。我已经用了一段时间,是可靠的。它和官方的有点差别在SolrClient构造函数中多一个Solr版本参数。这个补丁将会发布在官方版本中,你不用担心此后的兼容性。

?


1

2

3

4

5

6

7

8

$ git clone https://github.com/lukaszkujawa/php-pecl-solr.git

cd php-pecl-solr/

$ phpize

whereis php-config

php-config: /usr/bin/php-config /usr/bin/X11/php-config

$ ./configure --with-php-config=/usr/bin/php-config

make

make install

添加到你的php.ini

?


1

extension=solr.so

重启Web服务器

?


1

/etc/init.d/apache2 restart

现在就可以写php添加内容到索引中了。

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

<?php

 

$options array (

    ‘hostname‘ => ‘127.0.0.1‘,

);

 

$client new SolrClient($options"4.0"); // 参数4.0针对Solr4.x,其他版本时忽略

 

$doc new SolrInputDocument();

 

$doc->addField(‘id‘, 100);

$doc->addField(‘title‘‘Hello Wolrd‘);

$doc->addField(‘description‘‘Example Document‘);

$doc->addField(‘cat‘‘Foo‘);

$doc->addField(‘cat‘‘Bar‘);

 

$response $client->addDocument($doc);

 

$client->commit();

 

/* ------------------------------- */

 

$query new SolrQuery();

 

$query->setQuery(‘hello‘);

 

$query->addField(‘id‘)

->addField(‘title‘)

->addField(‘description‘)

->addField(‘cat‘);

 

$queryResponse $client->query($query);

 

$response $queryResponse->getResponse();

 

print_r( $response->response->docs );

如果你添加的文档不止一条,她也可以处理得很好,而不需要频繁的commit。

知道Solr如何工作是很有价值的,你可以在很多项目中使用。她有个很棒的功能可以让你一次请求就可以拉取所有需要的数据。当然,你掌握她需要耗费一些时间,但这值得你付出。Solr拥有一个活跃的社区和完整的文档资源,如果你还担心在项目中使用,请翻阅Solr 3 企业搜索服务器,她不仅仅是让你快速搭建起搜索服务,还是你数据挖掘的基础。

时间: 2024-10-14 04:58:18

集成PHP应用和SOLR的相关文章

Solr In Action 中文版 第一章 (二)

Solr到底是什么? 在本节中,我们通过从头设计一个搜索应用来介绍Solr的关键组件.这个过程将有助于你理解Solr的功能,以及设计这些功能的初衷.不过在我们开始介绍Solr的功能特性之前,还是要先澄清一下Solr并不具有的一些性质: 1)  Solr并不是一个像Google或是Bing那样的web搜索引擎 2)  Solr和网站优化中经常提到的搜索引擎SEO优化没有任何关系 好了,现在假设我们准备为潜在的购房客户设计一个不动产搜索的网络应用.该应用的核心用例场景是通过网页浏览器来搜索全美国范围

solr-in-action-ch1-Introduction to solr

Solr 是一个可扩展的,可快速部署的,对搜索海量文本中心的数据和对返回结果做相关性排序方面做了优化的企业级搜索引擎. 可扩展性:Solr可以把建立索引和查询处理的运算分布到一个集群内的多台服务器上. 快速部署:Solr是开源软件,安装和配置都很方便,可以根据安装包内的Sample配置直接上手. 优化的搜索功能:Solr搜索够快.对于复杂的搜索查询,Solr可以做到亚秒级的处理,通常几十毫秒就能处理完一次复杂查询 海量文本:Solr是针对百万级以上的海量文本处理而设计的,可以很好地处理海量数据.

elasticsearch(0.90.10)安装配置

一)安装elasticsearch 1)下载elasticsearch-0.90.10,解压,运行\bin\elasticsearch.bat (windwos) 2)进入http://localhost:9200/ 如下图 安装成功! 二)插件——head elasticsearch-head是一个elasticsearch的集群管理工具,它是完全由html5编写的独立网页程序,你可以通过插件把它集成到es. 安装命令:\bin>plugin -install mobz/elasticsear

elasticsearch插件大全

Elasticsearch扩展性非常好,有很多官方和第三方开发的插件,下面以分词.同步.数据传输.脚本支持.站点.其它这几个类别进行划分. 分词插件 Combo Analysis Plugin (作者 Olivier Favre, Yakaz) 简介:组合分词器,可以把多个分词器的结果组合在一起. Smart Chinese Analysis Plugin (作者 elasticsearch 团队) 简介:lucene默认的中文分词器 ICU Analysis plugin (作者 elasti

elasticsearch 插件 大全

本文使用的elasticsearch版本:1.7.3 推荐几款比较常用的elasticsearch插件 1.集群监控插件 bigdesk 2.集群资源查看和查询插件 kopf 3.调试查询  inquisitor 4.类似sql语法的查询插件 elasticsearch-sql (安装命令 plugin -u https://github.com/NLPchina/elasticsearch-sql/releases/download/1.4.9/elasticsearch-sql-1.4.9.

13个最热开源微服务 Java 框架

经过长期发展,Java 最终在服务器领域找到一席之地,不同芯片架构和操作系统对"一次编写,到处运行"的承诺很感兴趣.与此同时,JavaScript 一直在挑战 Java 的地位,前者因为高吞吐量和速度快接管了大批网络流量.Node.js 不仅提高了速度和资源效率,还简化了客户端和服务器运行代码的复杂度. 尽管竞争激烈,许多负责微服务架构开发的团队依旧在继续使用 Java,这可能有多方面原因,比如 Java 经过多年测试,Sun 创建了稳定的虚拟机,Oracle 大力培养和支持,用户使用

最热门的13个Java微服务框架(内附java学习教程分享)

曾经的服务器领域有许多不同的芯片架构和操作系统,经过长期发展,Java的"一次编译,到处运行"使得它在服务器领域找到一席之地,成为程序员们的最爱 本文,我们将和大家分享13个可靠的Java微服务架构最后,如果大家如果在自学遇到困难,想找一个java的学习环境,可以加入我们的java学习圈,点击我加入吧,会节约很多时间,减少很多在学习中遇到的难题. 1.Spring Boot Java构建Spring应用程序已经有很长一段时间了,Spring Boot是Spring的一个特定版本,它通过

玩转大数据系列之Apache Pig如何与Apache Solr集成(二)

散仙,在上篇文章中介绍了,如何使用Apache Pig与Lucene集成,还不知道的道友们,可以先看下上篇,熟悉下具体的流程. 在与Lucene集成过程中,我们发现最终还要把生成的Lucene索引,拷贝至本地磁盘,才能提供检索服务,这样以来,比较繁琐,而且有以下几个缺点: (一)在生成索引以及最终能提供正常的服务之前,索引经过多次落地操作,这无疑会给磁盘和网络IO,带来巨大影响 (二)Lucene的Field的配置与其UDF函数的代码耦合性过强,而且提供的配置也比较简单,不太容易满足,灵活多变的

集成Nutch/Hbase/Solr构建搜索引擎之二:内容分析

请先参见"集成Nutch/Hbase/Solr构建搜索引擎之一:安装及运行",搭建测试环境 http://blog.csdn.net/jediael_lu/article/details/37329731 一.被索引的域 Schema.xml 在使用solr对Nutch抓取到的网页进行索引时,schema.xml被改变成以下内容. 文件中指定了哪些域被索引.存储等内容. <?xml version="1.0" encoding="UTF-8"