基于lucene的案例开发:案例初识

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/43192055

首先抱歉,这几天在准备案例的整体框架设计,所以更新就断了几天,还请原谅。

案例整体介绍

在我们开始正式的案例开发介绍之前,我们先看一下整体的案例demo介绍,明白案例是做什么的。

从上图中,我们可以看出,这个案例主要是通过爬虫程序去采集纵横小说上的资源,然后将资源存储到自己的数据库中,将数据库中的需要检索的数据通过lucene建立索引文件,最后通过web服务展示数据。这个过程中,我们需要编写爬虫(采集程序)、后台接口(数据库搜索&Lucene检索)、web前端展示三个部分。下面就对这三个部分将会使用的技术做简单的介绍。

web前端

web前端将会基于BootStrap框架去做前端界面的设计,和后台的数据交互将通过JavaScript。通过初步设计,前端主要包括四个界面:首页(用作运营推广使用)、书籍列表页(用作关键词、标签、分类等检索结果展示)、简介页、阅读页,四个页面具体如下所示(这四个界面只是简单草图):

首页将展示一些运营或推广数据,数据由运营人员编写。

列表页主要用作书籍关键字、分类、标签、作者、状态等检索结果展示。

简介页展示书籍的属性信息及展示章节列表信息。

阅读页展示某一章节内容信息。

搜索后台

搜索后台将主要基于lucene做信息检索,数据库将会使用mysql。搜索后台提供web前端展示需要的数据接口。

爬虫

爬虫程序将基于HttpClient模拟浏览器行为,采集纵横小说网站内容(免费小说)。

这篇博客主要对案例的整体做简单的介绍,知道这个案例是做什么的,不至于在后面的博客中不知道自己在做什么。

注:在开始介绍lucene搜索后台前,将会在几篇博客中,重点介绍搜索后台用到的工具类。虽然有些类在之前的博客中也有相关的介绍,但这里还是会对这些类再次的介绍,以免在后面的代码编写过程中,找不到一些方法或不知道方法是做什么用的。

ps:最近发现其他网站可能会对博客转载,上面并没有源链接,如想查看更多关于 基于lucene的案例开发点击这里。或访问网址http://blog.csdn.net/xiaojimanman/article/category/2841877

时间: 2024-11-29 03:22:35

基于lucene的案例开发:案例初识的相关文章

基于lucene的案例开发:ParseUtil & ParseRequest

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/43195045 这篇博客主要介绍ParseUtil类和ParseRequest类,因为这两个类都比较简单,所以这里就不会给出事例程序. ParseUtil ParseUtil类主要实现将字符串(数字)转化为数值,这个在读取配置文件或数据转化过程中有很大的作用.源程序如下: /** *@Description: 转换类 */ package com.lulei.util; publ

基于lucene的案例开发:ClassUtil & CharsetUtil

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/43194793 这篇博客主要介绍ClassUtil类和CharsetUtil类.这两个也是项目中比较常用的类,一个用于指定文件路径,一个用于检测文件的编码方式. ClassUtil ClassUtil类中的方法主要是返回class文件所在的文件目录或工程的根目录地址,这主要用于指定工程中配置文件的路径,不至于环境迁移而导致配置文件路径错误.源代码如下: /** * @Descri

基于lucene的案例开发:实时索引的检索

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/44279753 http://www.llwjy.com/blogdetail/31bb705106379feaf6d31b58dd777be6.html 个人博客小站搭建成功,网址 www.llwjy.com,欢迎大家来吐槽~ 在前面的博客中,我们已经介绍了IndexSearcher中的检索方法,也介绍了如何基于lucene中的NRT*类去创建实时索引,在这篇博客中我们就重点介

基于lucene的案例开发:实时索引的修改

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/44280311 http://www.llwjy.com/blogdetail/e42fa5c3097f4964fca0fdfe7cd7a9a2.html 个人的博客小站已经上线了,网址 www.llwjy.com,欢迎大家来吐槽~ 上一篇博客已经介绍了实时索引的检索功能,这个就相当于数据的的查询功能,我们都知道数据库的增删改查是最常用的四个功能,实时索引也是一样,他也有增删改查

基于lucene的案例开发:纵横小说分布式采集

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/46812645 http://www.llwjy.com/blogdetail/9df464b20cca5405c7ce07e2fb2d768f.html 个人博客站已经上线了,网址 www.llwjy.com ~欢迎各位吐槽~ ----------------------------------------------------------------------------

基于lucene的案例开发:数据库连接池

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/43272993 通过java程序去连接数据库时,使用的协议是TCP/IP协议,TCP/IP协议需要进行3次握手.如果每一次数据库操作都需要创建一个新的连接,都要进行3次握手,这是十分浪费资源的,程序的效率也不是很高.为了解决这个问题,我们想可不可以自己维护一些数据库连接,需要数据库操作的时候,直接使用这其中的一个连接,用完了,在还给它,这样的话就不需要每次数据库操作都创建一个新的

基于lucene的案例开发:查询语句创建PackQuery

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/44656141 http://www.llwjy.com/blogdetail/162e5e70516d7ddfb6df8f77e6b13a2b.html 个人博客站已经上线了,网址 www.llwjy.com~欢迎各位吐槽 ------------------------------------------------------------------------------

基于lucene的案例开发:纵横小说阅读页采集

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/44937073 http://www.llwjy.com/blogdetail/29bd8de30e8d17871c707b76ec3212b0.html 个人博客站已经上线了,网址 www.llwjy.com ~欢迎各位吐槽~ ----------------------------------------------------------------------------

基于lucene的案例开发:纵横小说简介页采集

转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/44851419 http://www.llwjy.com/blogdetail/1b5ae17c513d127838c2e02102b5bb87.html 个人博客站已经上线了,网址 www.llwjy.com ~欢迎各位吐槽~ ----------------------------------------------------------------------------