【算法学习】后缀数组

一个字符串的题,有姿势水平的OIers的脑中应该要浮现出许多算法……

但是我没有姿势,也没有水平,除了KMP和trie树,什么也想不起来。

直到我学了它——后缀数组!

多亏这玩意儿,我现在什么都想不起来了。



后缀数组干嘛用的?

主要处理同一个字符串中的重复子串问题。

如何实现?

注意到每一个子串,都是一个后缀的某个前缀,这个后缀和前缀都是唯一确定的。

而后缀相同的前缀,和他们的字典序有密切联系。你有没有想过,字典中的相邻单词,他们的公共前缀总是很长。

一个字符串的任意后缀,都能用它的起始位置的下标唯一确定。

一个字符串的后缀数组(SuffixArray/SA),就是它的所有后缀字典序排序后的结果,当然不是存储了所有的后缀,仅仅是存储了它们的起始位置罢了。

这篇文章并不是要详细说明后缀数组能干嘛的,怎么实现。它只是让你们对后缀数组的实现有更直观的理解,弄清楚代码的每一行都是干嘛的。

这篇文章适合用作补充材料。如果你是初学者,想要对理论有着更基础的认识,建议百度一下,或者看看这篇blog

因为博主学习的时候,也弄不太清楚SA到底怎么求出的,那个神奇的计数排序如何实现等等……

下面贴出一个注释详尽的模板,来为大家理清思路。

 1 #include<cstdio>
 2 #include<cstring>
 3 #define MAXN 1000005
 4 int len, m=127;
 5 //len : 字符串长度 , m : 不同排名的个数 / 字符集大小(初始时)
 6 char str[MAXN];
 7 //字符串 , 从 1 开始编号
 8 int rank[MAXN], rk2[MAXN];
 9 //rank : 第 i 次排序后的 rank / 第 i+1 次排序前的第一关键字
10 //rk2[k] : 第 i+1 次排序前的第二关键字第 k 小的后缀下标
11 int cnt[MAXN], tmp[MAXN];
12 //cnt : 桶排序用的"桶" , tmp : 重新计算 rank 的辅助数组 , 这两个数组可以合并
13 int SA[MAXN];
14 //后缀数组 , SA[i] : 排名为 i 的后缀的起始位置
15 int Height[MAXN];
16 //Height[i] = LCP(Suffix(SA[i]), Suffix(SA[i-1]))
17 void getHeight(){
18     //计算方法 : Height[rank[i]] >= Height[rank[i-1]] - 1
19     //即意 : "长度为 i 的后缀和它排名前一名的 LCP 长度" , 不比 "长度为 i+1 的后缀与其排名前一名的 LCP 长度" 减一来得小
20     //所以从最长的前缀(整个字符串,即rank[1],对应Height[rank[1]])开始计算 , 然后缩短长度直至 1
21     //保证复杂度 O(len)
22     //PS : Height[1]=0
23     int k=0;
24     for(int i=1;i<=len;++i){
25         if(rank[i]==1) {k=Height[1]=0; continue;}
26         if(k) --k;
27         int j=SA[rank[i]-1];
28         while(i+k<=len&&j+k<=len&&str[i+k]==str[j+k]) ++k;
29         Height[rank[i]]=k;
30     }
31 //    for(int i=1;i<=len;++i) printf("%d ",Height[i]); puts("");
32 }
33 inline void Rsort() {
34     //通过 rank , rk2 两个数组 , 确定新的 SA
35     for(int i=1; i<=m; ++i) cnt[i]=0;
36     //这里用 memset 也可以
37     for(int i=1; i<=len; ++i) ++cnt[rank[i]];
38     for(int i=1; i<=m; ++i) cnt[i]+=cnt[i-1];
39     //计数排序的 nb 操作
40     for(int i=len; i>=1; --i) SA[cnt[rank[rk2[i]]]--]=rk2[i];
41     //更新 SA
42 }
43 void getSA() {
44     for(int i=1; i<=len; ++i) rank[i]=str[i], rk2[i]=i;
45     Rsort();
46 //    printf("rk : "); for(int i=1;i<=len;++i) printf("%d ",rank[i]); puts("");
47 //    printf("SA : "); for(int i=1;i<=len;++i) printf("%d ",SA[i]); puts("");
48     for(int j=1; j<=len; j<<=1) {
49         int p=0;
50         for(int i=len-j+1; i<=len; ++i) rk2[++p]=i;
51         for(int i=1; i<=len; ++i) if(SA[i]>j) rk2[++p]=SA[i]-j;
52         //计算 rk2
53         Rsort();
54         //计算新的 SA
55         tmp[SA[1]]=p=1;
56         for(int i=2; i<=len; ++i) {
57             if(rank[SA[i]]!=rank[SA[i-1]]||rank[SA[i]+j]!=rank[SA[i-1]+j]) ++p;
58             tmp[SA[i]]=p;
59         }
60         for(int i=1; i<=len; ++i) rank[i]=tmp[i];
61         //根据 SA 更新新的 rank
62         m=p;
63         if(m==len) break;
64         //不同排名的个数 m 更新成 p , 当所有排名都不同时 , 就可以退出了
65         //实践证明这一句话加上会快(数据随机) , 但是理论上可以被卡掉
66 //        printf("rk : "); for(int i=1;i<=len;++i) printf("%d ",rank[i]); puts("");
67 //        printf("SA : "); for(int i=1;i<=len;++i) printf("%d ",SA[i]); puts("");
68 //        printf("rk2: "); for(int i=1;i<=len;++i) printf("%d ",rk2[i]); puts("");
69         //输出每步结果
70     }
71     getHeight();
72 }
73 int main() {
74     scanf("%s",str+1);
75     len=strlen(str+1);
76     getSA();
77     return 0;
78 }

接下来解释一下代码中难懂的部分,也是众多blog没有说清楚的地方:计数排序。

代码37行:

for(int i=1; i<=len; ++i) ++cnt[rank[i]];

rank[i]表示第一关键字,cnt就是桶。
这只是在统计桶中元素罢了。

代码38行:

for(int i=1; i<=m; ++i) cnt[i]+=cnt[i-1];

它把桶做了前缀和,这样的目的在于,我们知道了对于某一个第一关键字,它所对应的区间:( cnt[i-1] , cnt[i] ],这是一个左开右闭区间。
仔细思考一下是不是这样。

代码40行:

for(int i=len; i>=1; --i) SA[cnt[rank[rk2[i]]]--]=rk2[i];

对于确定的第一关键字,我们知道对应区间,但是在同一个区间中,第二关键字还要保证升序啊。
看看rk2数组,它是第二关键字从小到大排序对应的后缀下标,那么在 i 从大到小的循环过程中,rk2[i]就是满足第二关键字从大到小的后缀下标。
那么再在外面套一个rank[rk2[i]]呢?如果有两个 i 的rank[rk2[i]]是相同的,即它们的第一关键字相同,那么我们说,是第二关键字大的先访问到。
那么在SA数组中,这就表示成,在同一个第一关键字下,按照着第二关键字从大到小的顺序,数组从后往前填充着后缀下标。
那就是说,在满足了第一关键字有序的情况下,从前往后,第二关键字也是从小往大的。

这就是计数排序的原理,还是非常巧妙的。

原文地址:https://www.cnblogs.com/PinkRabbit/p/8361556.html

时间: 2024-08-29 16:13:31

【算法学习】后缀数组的相关文章

算法学习 - 后缀表达式 (C++ 栈实现)

后缀表达式就是把一个式子进行树的后序遍历.然后根据这个顺序来求值. 栈来实现的时候很简单. 例如中缀表达式:6 * [ 5 + ( 2 + 3 )  * 8 + 3 ] 则 后缀表达式为:6 5 2 3 + 8 * + 3 + * 下面上代码: // // main.cpp // postfixExpression // // Created by Alps on 14-7-28. // Copyright (c) 2014年 chen. All rights reserved. // #inc

字符串(马拉车算法,后缀数组,稀疏表):BZOJ 3676 [Apio2014]回文串

Description 考虑一个只包含小写拉丁字母的字符串s.我们定义s的一个子串t的“出 现值”为t在s中的出现次数乘以t的长度.请你求出s的所有回文子串中的最 大出现值. Input 输入只有一行,为一个只包含小写字母(a -z)的非空字符串s. Output 输出一个整数,为逝查回文子串的最大出现值. Sample Input [样例输入l] abacaba [样例输入2] www Sample Output [样例输出l] 7 [样例输出2] 4 HINT 一个串是回文的,当且仅当它从左

后缀数组题目整理

最近在跟着 罗穗骞 的论文学习后缀数组, 不亏是神牛的论文.无论是算法讲解,还是习题举例都非常不错.下面把最进做的几道后缀数组整理一下. 1.两字符串的最长公共子串 1 #include <stdio.h> 2 #include <iostream> 3 #include <algorithm> 4 #include <sstream> 5 #include <stdlib.h> 6 #include <string.h> 7 #in

初学后缀数组

后缀排序 Description Tim正在自学<数据结构>,他刚刚学会如何比较两个字符串大小.书上是这么说的(和Pascal语言中的比较规则相同,学习过Pascal语言的同学可以跳过这段): 比较两个不同字符串s1=’p1p2p3…pN’和s2=’q1q2q3…qM’的大小,设N<=M. 若s1是s2的前缀,则s1<s2.否则设pi<>qi,且i最小:若pi<qi,则s1<s2,否则s1>s2. Tim想通过练习熟练运用这个规则,于是打算出许多字符串

后缀数组(suffix array)详解

后缀数组(suffix array)详解 转载请注明:http://www.cnblogs.com/acmer-jsb/p/3988683.html 一.What  Is  Suffix Array? 用我的理解,后缀数组是一种功能强大的字符串处理工具,堪称字符串处理神奇,尤其是在字符串匹配方面更是有着出色的处理能力. 其实后缀数组是后缀树的一个非常精巧的替代品,它比后缀树容易编程实现,能够实现后缀树的很多功能而时间复杂度也不太逊色,并且,它比后缀树所占用的空间小很多.可以说,在信息学竞赛中后缀

POJ2406:Power Strings(后缀数组DC3)

Description Given two strings a and b we define a*b to be their concatenation. For example, if a = "abc" and b = "def" then a*b = "abcdef". If we think of concatenation as multiplication, exponentiation by a non-negative inte

POJ 2406 Power String 后缀数组

这题曾经用KMP做过,用KMP 做非常的简单,h函数自带的找循环节功能. 用后缀数组的话,首先枚举循环节长度k,然后比较LCP(suffix(k + 1), suffix(0)) 是否等于len - k, 如果相等显然k就是一个循环节. 得到LCP的话可以通过预处理出所有点和0的lcp就好了.另外倍增法构造后缀数组还有用RMQ来搞lcp nlogn是不行的,会超时,所以可以dc3走起了.. #include <cstdio> #include <cstring> #include

后缀数组详解+模板

后缀数组 注 SA[] 第几名是谁 后缀数组:后缀数组 SA 是一个一维数组, 它保存 1..n 的某个排列 SA[1] ,SA[2],……,SA[n],并且保证 Suffix(SA[i]) < Suffix(SA[i+1]),1≤i<n .也就是将 S 的 n 个后缀从小到大进行排序之后把排好序的后缀的开头位置顺次放入 SA 中. Rank[] 谁是第几名名次数组:名次数组 Rank[i]保存的是 Suffix(i)在所有后缀中从小到大排列的“名次 ” . r[]:原始数据j当前字符串的长度

后缀数组模板第一版

/*---------------倍增算法+RMQ后缀数组模板-------------- 输入:从0开始的字符串g,长度len最大为10^6 输出: sa[]表示:n 个后缀从小到大进行排序之后把排好序的后缀的开头位置顺 次放入 sa 中,sa[i]表示排第i位的字符串开头是sa[i],因为添加了一个结尾0,所以sa[0]=len height 数组(h[]):定义 h[i]=suffix(sa[i-1])和 suffix(sa[i])的最长公 共前缀,也就是排名相邻的两个后缀的最长公共前缀.

后缀数组LCP + 二分 - UVa 11107 Life Forms

Life Forms Problem's Link Mean: 给你n个串,让你找出出现次数大于n/2的最长公共子串.如果有多个,按字典序排列输出. analyse: 经典题. 直接二分判断答案. 判断答案p时,我们扫一遍height数组,如果height[i]<p时开辟一个新段. 判断时用set存储所在串编号,不仅起到去重的作用,而且也起到统计段长的作用. Time complexity: O(N*logN) Source code:  /** this code is made by cra