全文搜索的数据库及实体实现

在日常的业务场景中,不见得每一类的数据都需要结构化存储,很多情况下,只是将某个表单的数据保存下来就可以了,至于后续的查询,除了表单的ID以外,更多的是依靠全文检索来实现的。

目前我们有很多流程,主要工作方式是:启动时,从主数据中获取相应的数据变成交易数据,经过流程各环节的处理,流程结束时,交易数据再写回到主数据中。在这个过程中,除了流程之外,查询交易数据的机会很少(全文检索除外)。因此,为过程中大量的交易数据进行数据库设计的意义就不是很大了。

除主键RESOURCE_ID外,最关键的是XML_CONTENT字段,它以xml数据类型保存了业务实体的内容。之所以使用xml类型而不是二进制或纯字符串类型,是保留了为xml字段中的内容创建索引的可能性。

仅仅有表结构还不够。为了大家使用方便,我们设计了针对于此数据结构的数据实体和数据访问适配器(Adapter)。此外,我们还定义了一组Attribute,帮助大家将对象转换成xml格式。.NetFramework的xml序列化机制由于要用到动态编译,所以我们轻易不用。

我们看看这个数据实体的基类的定义:

[Serializable]
[XmlRootMapping("GenericFormData")]
[XElementSerializable]
[ORTableMapping("WF.GENERIC_FORM_DATA")]
[ObjectCompare("ID")]
public class GenericFormData : WorkflowObjectBase
{
	[Description("编号")]
	[XmlObjectMapping]
	[ORFieldMapping("RESOURCE_ID", PrimaryKey = true)]
	public override string ID { get; set; }
 
	[Description("标题")]
	[XmlObjectMapping]
	[ORFieldMapping("SUBJECT")]
	[StringLengthValidator(1, 255, MessageTemplate = "请填写标题,且长度必须小于255个字符")]
	public override string Subject { get; set; }
 
	private IUser _Creator = null;
 
	[SubClassORFieldMapping("ID", "CREATOR_ID", IsNullable = false)]
	[SubClassORFieldMapping("DisplayName", "CREATOR_NAME", IsNullable = false)]
	[SubClassType(typeof(OguUser))]
	public virtual IUser Creator
	{
		get
		{
			return this._Creator;
		}
		set
		{
			this._Creator = (IUser)OguBase.CreateWrapperObject(value);
		}
	}
 
	[Description("创建时间")]
	[XmlObjectMapping]
	[ORFieldMapping("CREATE_TIME")]
	[SqlBehavior(BindingFlags = ClauseBindingFlags.All, DefaultExpression = "getdate()")]
	public virtual DateTime CreateTime { get; set; }
 
	[Description("XML")]
	[ORFieldMapping("XML_CONTENT")]
	public virtual string XmlContent { get; set; }
	 
	[ORFieldMapping("SEARCH_CONTENT")]
	[Description("搜索内容")]
	public virtual string SearchContent { get; set; }
}

可以看出,它和一般的数据实体类差别不大,只不过上面有XmlRootMapping,XmlObjectMapping等几个属性用来帮助将对象序列化为xml。

如果我们想将GenericFormData序列化为xml,只需要调用XmlHelper.SerializeObjectToXml(data)即可。

我们想使用的时候,只需要写一个从GenericFormData派生的数据实体,以及从GenericFormDataAdapterBase<T,
TCollection>派生的Adapter类即可。

SampleFormData由于存储在xml字段中,在不创建索引的情况下,我们可以认为是非结构化的。在上面的例子中,它的子对象集合SubData也是非结构化的。在实际的应用场景中,子对象不一定也是非结构化的,例如表单的意见、附件等子对象。我们需要重载Adapter的BeforeInnerUpdate、AfterInnerUpdate或AfterLoad去处理子对象。

有的时候,不一定需要同时加载主对象和子对象,例如列表中只会用到主对象,而表单往往同时使用主对象和子对象。

在这种场景下,子对象往往是延迟加载的。

最后需要注意的是,不是所有的对象都可以按照上面的Xml序列化机制来序列化的,尤其是对象交叉引用的情况,这种通用数据并不能象结构化数据那样容易检索。为了缓解这一不足,我们在GenericFormData和GenericFormRelativeData上都设置了一个SearchContent属性,这个属性会对应到数据库表上SEARCH_CONTENT的全文检索字段。

应用可以将自己想查的文本数据放在SearchContent属性中,然后进行查询:

select *
from WF.GENERIC_FORM_RELATIVE_DATA
where CONTAINS(SEARCH_CONTENT, '123'); 
时间: 2024-07-31 14:31:09

全文搜索的数据库及实体实现的相关文章

Lucene及全文搜索实现原理

Lucene及全文搜索实现原理 全文搜索 全文搜索是指计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式.这个过程类似于通过字典中的检索字表查字的过程.全文搜索搜索引擎数据库中的数据. ????全文搜索的过程主要分为两个部分,索引的建立以及索引的搜索. 国内外的全文搜索常用的检索模型主要有向量模型,布尔模型等. 布尔模型 布尔模型是第一个信息检索的模型,可能也是最

Postgresql数据库安装中文全文搜索插件zhparser的问题

在PG数据库的基础上加装zhparser中文全文搜索插件,说实话,挺怕这些单独编译安装的插件的,因为安装PG数据库方法的不同,最后可能导致安装的插件各种安装不上,这里说一下我遇到的坑,系统环境是Centos7, yum安装的PG9.6. 1.INSTALL 关于安装方法,可以直接到上面看https://github.com/amutu/zhparser 2.make的时候缺少pgxs.mk [[email protected] zhparser]# PG_CONFIG=/usr/pgsql-9.

Sql Server 数据库建全文搜索

摘自:https://www.cnblogs.com/ljhdo/p/5041605.html SQL Server 的全文搜索(Full-Text Search)是基于分词的文本检索功能,依赖于全文索引.全文索引不同于传统的平衡树(B-Tree)索引和列存储索引,它是由数据表构成的,称作倒转索引(Invert Index),存储分词和行的唯一键的映射关系.倒转索引是在创建全文索引或更新全文索引时,由SQL Server自动创建和维护的.全文索引主要包含三种分析器:分词器(Word Breake

php+中文分词scws+sphinx+mysql打造千万级数据全文搜索

Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎.意图为其他应用提供高速.低空间占用.高结果 相关度的全文搜索功能.Sphinx可以非常容易的与SQL数据库和脚本语言集成.当前系统内置MySQL和PostgreSQL 数据库数据源的支持,也支持从标准输入读取特定格式 的XML数据.Sphinx创建索引的速度为:创建100万条记录的索引只需3-4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建一次只需几十秒.Sphinx的

MySQL 全文搜索支持, mysql 5.6.4支持Innodb的全文检索和类memcache的nosql支持

背景:搞个个人博客的全文搜索得用like啥的,现在mysql版本号已经大于5.6.4了也就支持了innodb的全文搜索了,刚查了下目前版本号都到MySQL Community Server 5.6.19 了,所以,一些小的应用可以用它做全文搜索了,像sphinx和Lucene这样偏重的.需要配置或开发的,节省了成本. 这儿有一个原创的Mysql全文搜索的文章, mysql的全文搜索功能:http://blog.csdn.net/bravekingzhang/article/details/672

【转】 Mysql全文搜索match...against的用法

原文链接 http://blog.csdn.net/manbujingxin/article/details/6656992 前提:mysql只支持英文内容的全文索引,所以只考虑英文的全文搜索. 假定数据表名为post,有三列:id.title.content.id是自增长序号, title是varchar,content是text,给content添加全文索引.mysql全文搜索有三种模式:一.自然语言查找.这是mysql默认的全文搜索方式,sql示例: 1 select  id,title 

如何在MySQL中获得更好的全文搜索结果

很多互联网应用程序都提供了全文搜索功能,用户可以使用一个词或者词语片断作为查询项目来定位匹配的记录.在后台,这些程序使用在一个SELECT 查询中的LIKE语句来执行这种查询,尽管这种方法可行,但对于全文查找而言,这是一种效率极端低下的方法,尤其在处理大量数据的时候. mysql针对这一问题提供了一种基于内建的全文查找方式的解决方案.在此,开发者只需要简单地标记出需要全文查找的字段,然后使用特殊的MySQL方法在那些字段运行搜索,这不仅仅提高了性能和效率(因为MySQL对这些字段做了索引来优化搜

初识Lucene 4.5全文搜索

近期想研究下lucene,但网络上的教程大多都是lucne 3.x版本的讲解.可是lucene版本的更新速度快的惊人,目前已经到了4.8版了,只好去查阅官方文档.虽然英文不大好,但稍微对比了下发现3.x版本至4.x版本的修改非常之大.接下来我就以4.5版来操作,分享下我对luence的初步认识. 先给大家看一张图(来至<Lucene  in  action>): 此图很形象的描述了lucene的基本流程,简而言之就是:1.创建索引:2.检索索引. 太深的道理与原理我目前也还是一知半解,所以就以

Lucene全文搜索原理与使用

本文中主要是对于Lucene全文搜索的基础原理进行简单的分析,以及Lucene实现全文搜索的流程,之后就是Lucene在Java中的最简单使用:创建索引,查询索引库: 本文中使用的Lucene主要是4.10.3和6.0.0,两个版本的原理相同,但是API的使用并不相同: 1.结构化数据与非结构化数据 2.非结构化数据搜索 3.全文搜索 4.搜索如何实现 5.Lucene实现全文搜索流程 6.Lucene的API使用 1.结构化数据与非结构化数据 结构化数据:指具有固定格式或有限长度的数据,如数据