【转】SQL多条件模糊查询解决方案-存储过程

前言：

 

算法的基本特性在前几篇博客中已经做了详细的说明，经过不断的改进优化，到归仓的时候了，也就是说，该算法告一段落，不再更新。

作为最终的解决方案，简要的总结一下算法特性，以方便读者参阅。

l 目的：主要用于多条件模糊匹配。

l 贪婪特性：返回满足条件尽可能多的记录。

l 权重特性：为关键词分配权重，代表关键词的重要性，在不破坏贪婪特性的前提下，返回权重高的记录。

l 必要关键词指定特性：在不破坏贪婪特性和权重特性的前提下，返回的结果中必须包含指定的关键词。

l 典型应用：问-答系统，例如百度提问、京东商品咨询。

经过分析，在最终的解决方案中，提供两个版本的算法，已经封装成存储过程和函数，直接导入数据库即可。

普通版本：

l 描述：基于SQL的LIKE语句实现，使用简单，但受限于LIKE语句，不适合超大数据量处理。指定必要词会加快处理速度。

l 使用范围：万级别的数据量，数据量超过1万条，将导致运行缓慢。

l 使用方法：直接在查询分析器中运行脚本导入数据库即可。

l 调用示例：execute proc_Common_SuperLike‘id‘,‘t_test‘,‘content‘,‘20‘,‘|‘,‘[i]|o|c‘

l 参数说明：id表的主键字段名称。t_test表名。content匹配内容字段名称。20选出20个记录（从顶至下匹配度越来越低）。|关键字的分隔符号。[i]|o|c一共有i，o，c三个关键字，通过|分隔，其中i是必要词。

  1 GO
  2 CREATE function Get_StrArrayLength
  3 (
  4  @str varchar(1024),  --要分割的字符串
  5  @split varchar(10)  --分隔符号
  6 )
  7 returns int
  8 as
  9  begin
 10   declare @location int
 11   declare @start int
 12   declare @length int
 13   set @str=ltrim(rtrim(@str))
 14   set @location=charindex(@split,@str)
 15   set @length=1
 16    while @location<>0
 17      begin
 18       set @start=@location+1
 19       set @location=charindex(@split,@str,@start)
 20       set @length=@length+1
 21      end
 22    return @length
 23  end
 24  GO
 25  CREATE function Get_StrArrayStrOfIndex
 26 (
 27  @str varchar(1024),  --要分割的字符串
 28  @split varchar(10),  --分隔符号
 29  @index int --取第几个元素
 30 )
 31 returns varchar(1024)
 32 as
 33 begin
 34  declare @location int
 35  declare @start int
 36  declare @next int
 37  declare @seed int
 38  set @str=ltrim(rtrim(@str))
 39  set @start=1
 40  set @next=1
 41  set @seed=len(@split)
 42  set @location=charindex(@split,@str)
 43  while @location<>0 and @index>@next
 44    begin
 45     set @start=@location+@seed
 46     set @location=charindex(@split,@str,@start)
 47     set @next=@next+1
 48    end
 49  if @location =0 select @location =len(@str)+1
 50
 51 --这儿存在两种情况：1、字符串不存在分隔符号 2、字符串中存在分隔符号，跳出while循环后，@location为0，那默认为字符串后边有一个分隔符号。
 52  return substring(@str,@start,@location-@start)
 53 end
 54 GO
 55 CREATE PROCEDURE proc_Common_SuperLike
 56     --要查询的表的主键字段名称
 57     @primaryKeyName varchar(999),
 58     --要查询的表名
 59     @talbeName varchar(999),
 60     --要查询的表的字段名称，即内容所在的字段
 61     @contentFieldName varchar(999),
 62     --查询记录的个数(TOP *),匹配的个数越多,排名越靠前
 63     @selectNumber varchar(999),
 64     --匹配字符分隔标记
 65     @splitString varchar(999),
 66     --匹配字符组合字符串
 67     @words varchar(999)
 68
 69 AS
 70     declare @sqlFirst varchar(999)
 71     declare @sqlCenter varchar(999)
 72     declare @sqlLast varchar(999)
 73     declare @next int
 74     declare @arrayLength int
 75     declare @newWords varchar(999)
 76     declare @newTable varchar(999)
 77 BEGIN
 78     set @newTable=@talbeName
 79     set @newWords=@words
 80     set @next=dbo.Get_StrArrayLength(@words,‘[‘)
 81     --判断是否有必要词
 82     if @next>1
 83     begin
 84         set @newTable=‘‘
 85         --构造必要表sql语句
 86         while @next>1
 87         begin
 88             set @newTable=@newTable+@contentFieldName+‘ like ‘‘%‘+dbo.Get_StrArrayStrOfIndex(dbo.Get_StrArrayStrOfIndex(@words,‘[‘,@next),‘]‘,1)+‘%‘‘ AND ‘
 89             set @next=@next-1
 90         end
 91         set @newTable=left(@newTable,(len(@newTable)-4))
 92         --构造临时表
 93         set @newTable=‘SELECT * into ##tempTable FROM ‘+ @talbeName + ‘ WHERE ‘ + @newTable
 94         execute(@newTable)
 95         --指定临时表
 96         set @newTable=‘##tempTable‘
 97         --去掉关键词组中的必要词标记
 98         set @newWords=REPLACE(REPLACE(@words,‘[‘,‘‘),‘]‘,‘‘)
 99     end
100     set @sqlCenter=‘‘
101     set @next=1
102     set @arrayLength=dbo.Get_StrArrayLength(@newWords,@splitString)
103
104     while @next<=@arrayLength
105     begin
106         --构造sql查询条件(中间部分)
107         set @sqlCenter = @sqlCenter+‘SELECT ‘+@primaryKeyName+‘,‘+CONVERT(varchar(999),@arrayLength-@next+1)+‘ AS wordPower FROM ‘+@newTable+‘ WHERE ‘+@contentFieldName+‘ like ‘‘%‘+dbo.Get_StrArrayStrOfIndex(@newWords,@splitString,@next)+‘%‘‘ UNION ALL ‘
108         set @next=@next+1
109     end
110     --处理sql语句中间部分,去除最后无用语句
111     set @sqlCenter=left(@sqlCenter,(len(@sqlCenter)-10))
112     --构造sql语句开头部分
113     set @sqlFirst=‘SELECT TOP ‘+@selectNumber+‘ ‘+@primaryKeyName+‘,COUNT(*)+SUM(wordPower) AS finalPower FROM (‘
114     --构造sql语句结尾部分
115     set @sqlLast=‘) AS t_Temp GROUP BY ‘+@primaryKeyName+‘ ORDER BY finalPower DESC‘
116     --拼接出完整sql语句,并执行
117     Execute(@sqlFirst+@sqlCenter+@sqlLast)
118     --判断临时表是否存在，存在则删除，一定要删除！
119     if OBJECT_ID(‘tempDb..##tempTable‘) is not null
120     begin
121         drop table ##tempTable
122     end
123 END

大数据量版本：

l 描述：基于SQL的全文索引实现，使用较为复杂，但执行速度极快，适合处理大数据量。指定必要词会降低处理速度。

l 使用范围：千万级别的数据量，i3一代笔记本处理器，查询1千万条记录仅需2秒。

l 使用方法：在查询分析器中运行脚本导入数据库，再为要查询的表创建全文索引，索引字段设置为要查询的字段。

l 调用示例：execute proc_Common_SuperLike‘id‘,‘t_test‘,‘content‘,‘20‘,‘|‘,‘[i]|o|c‘

l 参数说明：id表的主键字段名称。t_test表名。content匹配内容字段名称。20选出20个记录（从顶至下匹配度越来越低）。|关键字的分隔符号。[i]|o|c一共有i，o，c三个关键字，通过|分隔，其中i是必要词。

  1 GO
  2 CREATE function Get_StrArrayLength
  3 (
  4  @str varchar(1024),  --要分割的字符串
  5  @split varchar(10)  --分隔符号
  6 )
  7 returns int
  8 as
  9  begin
 10   declare @location int
 11   declare @start int
 12   declare @length int
 13   set @str=ltrim(rtrim(@str))
 14   set @location=charindex(@split,@str)
 15   set @length=1
 16    while @location<>0
 17      begin
 18       set @start=@location+1
 19       set @location=charindex(@split,@str,@start)
 20       set @length=@length+1
 21      end
 22    return @length
 23  end
 24  GO
 25  CREATE function Get_StrArrayStrOfIndex
 26 (
 27  @str varchar(1024),  --要分割的字符串
 28  @split varchar(10),  --分隔符号
 29  @index int --取第几个元素
 30 )
 31 returns varchar(1024)
 32 as
 33 begin
 34  declare @location int
 35  declare @start int
 36  declare @next int
 37  declare @seed int
 38  set @str=ltrim(rtrim(@str))
 39  set @start=1
 40  set @next=1
 41  set @seed=len(@split)
 42  set @location=charindex(@split,@str)
 43  while @location<>0 and @index>@next
 44    begin
 45     set @start=@location+@seed
 46     set @location=charindex(@split,@str,@start)
 47     set @next=@next+1
 48    end
 49  if @location =0 select @location =len(@str)+1
 50
 51 --这儿存在两种情况：1、字符串不存在分隔符号 2、字符串中存在分隔符号，跳出while循环后，@location为0，那默认为字符串后边有一个分隔符号。
 52  return substring(@str,@start,@location-@start)
 53 end
 54 GO
 55 CREATE PROCEDURE proc_Common_SuperLike
 56     --要查询的表的主键字段名称
 57     @primaryKeyName varchar(999),
 58     --要查询的表名
 59     @talbeName varchar(999),
 60     --要查询的表的字段名称，即内容所在的字段
 61     @contentFieldName varchar(999),
 62     --查询记录的个数(TOP *),匹配的个数越多,排名越靠前
 63     @selectNumber varchar(999),
 64     --匹配字符分隔标记
 65     @splitString varchar(999),
 66     --匹配字符组合字符串
 67     @words varchar(999)
 68
 69 AS
 70     declare @sqlFirst varchar(999)
 71     declare @sqlCenter varchar(999)
 72     declare @sqlLast varchar(999)
 73     declare @next int
 74     declare @arrayLength int
 75     declare @newTable varchar(999)
 76 BEGIN
 77     set @newTable=‘‘
 78     set @sqlCenter=‘‘
 79     set @next=1
 80     set @arrayLength=dbo.Get_StrArrayLength(@words,@splitString)
 81
 82     while @next<=@arrayLength
 83     begin
 84         --构造sql查询条件(中间部分)
 85         --判断是否是必要词
 86         if CHARINDEX(‘[‘,dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next))>0
 87         begin
 88             set @sqlCenter = @sqlCenter+‘SELECT ‘+@primaryKeyName+‘,‘+CONVERT(varchar(999),@arrayLength-@next+1)+‘ AS wordPower FROM ‘+@talbeName+‘ WHERE CONTAINS(‘ + @contentFieldName + ‘,‘‘"*‘+REPLACE(REPLACE(dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next),‘[‘,‘‘),‘]‘,‘‘)+‘*"‘‘) UNION ALL ‘
 89             --构造必要词
 90             set @newTable=@newTable+‘CONTAINS(‘ + @contentFieldName + ‘,‘‘"*‘+REPLACE(REPLACE(dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next),‘[‘,‘‘),‘]‘,‘‘)+‘*"‘‘) AND ‘
 91         end
 92         else
 93         begin
 94             set @sqlCenter = @sqlCenter+‘SELECT ‘+@primaryKeyName+‘,‘+CONVERT(varchar(999),@arrayLength-@next+1)+‘ AS wordPower FROM ‘+@talbeName+‘ WHERE CONTAINS(‘ + @contentFieldName + ‘,‘‘"*‘+dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next)+‘*"‘‘) UNION ALL ‘
 95         end
 96
 97         set @next=@next+1
 98     end
 99     --判断是否有必要词
100     if CHARINDEX(‘[‘,@words)>0
101     begin
102         ---处理必要词部分,去除最后无用语句
103         set @newTable=left(@newTable,(len(@newTable)-4))
104         set @newTable=‘AS t_Temp WHERE ‘+ @primaryKeyName +‘ IN (SELECT ‘+@primaryKeyName+‘ FROM ‘ + @talbeName+‘ WHERE ‘ + @newTable + ‘)‘
105     end
106     else
107     begin
108         set @newTable=‘AS t_Temp‘
109     end
110
111     --处理sql语句中间部分,去除最后无用语句
112     set @sqlCenter=left(@sqlCenter,(len(@sqlCenter)-10))
113     --构造sql语句开头部分
114     set @sqlFirst=‘SELECT TOP ‘+@selectNumber+‘ ‘+@primaryKeyName+‘,COUNT(*)+SUM(wordPower) AS finalPower FROM (‘
115     --构造sql语句结尾部分
116     set @sqlLast=‘) ‘ + @newTable + ‘ GROUP BY ‘+@primaryKeyName+‘ ORDER BY finalPower DESC‘
117     --拼接出完整sql语句,并执行
118     Execute(@sqlFirst+@sqlCenter+@sqlLast)
119 END

附-SQL数据库表全文索引创建指南：

--开启全文索引

sp_fulltext_database enable

--创建索引目录(创建出来是一个目录，用来放索引文件)

CREATE FULLTEXT CATALOG 索引目录名称 --例如myFullText

--创建全文索引

CREATE FULLTEXT INDEX ON 表名(字段名) --为哪个表的哪个字段创建全文索引，例如t_test(content)

KEY INDEX 主键索引名称 ON 索引目录名称 --注意是主键索引名称，而不是主键字段名称！例如，PK__t_test__3213E83F0EA330E9；指定全文索引目录，即放在哪个目录下，例如myFullText

注意：如果在创建数据库表全文索引之前，数据库表中已经有大量记录，那么创建全文索引是需要时间的，因此创建完全文索引后马上使用可能查不到数据。

时间： 2024-11-14 17:21:33

【转】SQL多条件模糊查询解决方案-存储过程的相关文章

JSP+Servlet+javabean+oracle实现页面多条件模糊查询

之前写过一篇JSP+Servlet+javabean+mysql实现页面多条件模糊查询 使用的是mysql进行的分页查询,mysql用limit控制,而oracle则是用rownum,今天第一次写oracle,查了一下资料试了一下,把代码帖出来 oracle的数据源配置也不同: driverName=oracle.jdbc.driver.OracleDriver url=jdbc\:oracle\:thin\:@127.0.0.1\:1521\:orcl username=marketManag

用js实现表格多条件模糊查询，可兼容分页

需求如下: 实现姓名.职位.直属上级.用户类型四个条件模糊查询,查询到的结果分页展示. 实现逻辑: 定义两个数组,其中vm.nowallUserLists为原始数据.vm.nowallUserFilter为筛选后数据.最终循环vm.nowallUserFilter来渲染表格. 筛选前,将vm.nowallUserLists的值赋给vm.nowallUserFilter,表格渲染全部数据. 筛选时,先初始化vm.nowallUserFilter为空数组,将筛选得到的内容推到这个数组中.此时表格渲染

在JDBC中实现SQL语句的模糊查询

在JDBC中实现SQL语句的模糊查询 在大多数情况下我们可以在JDBC中写入sql语句通过占位符的方式来直接查询,但是如果要进行模糊查询,需要转义字符才能够正常查询. sql语句: select * from table where tableid like %id%; JDBC中的sql语句: String sql = "select * from table where tableid like \"%\"?\"%\"";//?为占位符 原文

SQL中常用模糊查询的四种匹配模式

执行数据库查询时,有完整查询和模糊查询之分.一般模糊语句如下:SELECT 字段 FROM 表 WHERE 某字段 Like 条件 其中关于条件,SQL提供了四种匹配模式:1.%:表示任意0个或多个字符.可匹配任意类型和长度的字符,有些情况下若是中文,请运用两个百分号(%%)表示.比如 SELECT * FROM [user] WHERE u_name LIKE '%三%'将会把u_name为"张三","张猫三"."三脚猫","唐三藏&

JSP+Servlet+javabean实现页面多条件模糊查询

需求: 一般列表页上面会有一个查询框,有各种的查询条件组合,一般都采用模糊查询方式 ,以下以自己做的实例来说明一下实现方法: 需要实现的界面原型:要满足条件: 1.单选分类,点GO按扭 2.单独输入标题关键字,点GO按扭 3.选择分类,再输入关键字,点GO按扭 我这里用了MVC分层模式来进行的,所以一步步讲解吧,上源码: 因为我一个class里写了很多不同的业务,所以帖代码只帖当前步 dao层: 1 //当前页显示的新闻信息pageNo 当前页码,pagePerCount是每页多少条数据 2 p

JSP+Servlet+javabean+mysql实现页面多条件模糊查询（转载）

需求: 一般列表页上面会有一个查询框,有各种的查询条件组合,一般都采用模糊查询方式 ,以下以自己做的实例来说明一下实现方法: 需要实现的界面原型:要满足条件: 1.单选分类,点GO按扭 2.单独输入标题关键字,点GO按扭 3.选择分类,再输入关键字,点GO按扭 我这里用了MVC分层模式来进行的,所以一步步讲解吧,上源码: 因为我一个class里写了很多不同的业务,所以帖代码只帖当前步 dao层: 1 //当前页显示的新闻信息pageNo 当前页码,pagePerCount是每页多少条数据 2 p

SQL中常用模糊查询的四种匹配模式&amp;&amp;正则表达式

执行数据库查询时,有完整查询和模糊查询之分.一般模糊语句如下:SELECT 字段 FROM 表 WHERE 某字段 Like 条件 其中关于条件,SQL提供了四种匹配模式:1.%:表示任意0个或多个字符.可匹配任意类型和长度的字符,有些情况下若是中文,请运用两个百分号(%%)表示.比如 SELECT * FROM [user] WHERE u_name LIKE '%三%'将会把u_name为“张三”,“张猫三”.“三脚猫”,“唐三藏”等等有“三”的记录全找出来.另外,如果须要找出u_name中

SQL 怎么实现模糊查询？

执行数据库查询时,有完整查询和模糊查询之分. 一般模糊语句格式如下: SELECT 字段 FROM 表 WHERE 某字段 LIKE 条件; 其中,关于条件,SQL提供了四种匹配模式: 一.%:表示零个或多个字符. 可以匹配任意类型和任意长度的字符,有些情况下若是中文,请使用两个百分号(%%)表示. select * from flow_user where username like '%王%'; 将会把flow_user这张表里面,列名username中含有"王"的记录全部查询出来

ADO多条件模糊查询防字符串攻击

多条件组合查询使用字符串拼接TSQL语句来实现 1 void Button1_Click(object sender, EventArgs e) 2 { 3 string text = "select *from car"; //最终TSQL语句 4 string endtext = ""; //组合查询末尾部分 5 int num = 0; //记录当前是第几条查询,为了区别前缀是Where还是and 6 bool ok = false; //判断是否有填写查询