Trie树-脏词过滤应用

Trie树，又称字符查找树、前缀树，主要用于字符匹配（详见http://en.wikipedia.org/wiki/Trie）。适合做关键词查找，比如查找文章中的关键字然后给他们加链接。 当然对脏词的过滤应用也是样，只是把替换连接的工作换成了替换字符。

当前的代码还只是进行简单的替换，并没有做一些字符的处理，比如“昨天见到你妈，逼我要买房”，这本身不是脏词，因为有逗号，所以程序里要增加字符的范围判断。

程序中的skip就是用来过滤脏词的简单变体，比如“找*小*姐”，默认是最多跳过3个字符，这个可以随便调整了。总之是一个Trie的锻炼吧。

1. public class TrieTree
2. {
3. private readonly Dictionary<char, TrieTree> Children;
4. public bool End { get; set; }
5. public TrieTree()
6. {
7. Children = new Dictionary<char, TrieTree>();
8. }
9. public void AddKey(string keyword)
10. {
11. if (String.IsNullOrEmpty(keyword))
12. {
13. return;
14. }
15. var cNode = this;
16. foreach (var key in keyword)
17. {
18. if (cNode.Children.ContainsKey(key))
19. {
20. cNode = cNode.Children[key];
21. }
22. else
23. {
24. var node = new TrieTree();
25. cNode.Children.Add(key, node);
26. cNode = node;
27. }
28. }
29. cNode.End = true;
30. }
31. public void Replace(ref string text)
32. {
33. for (var i = 0; i < text.Length; i++)
34. {
35. var cNode = this;
36. var key = text[i];
37. //碰到脏词的第一个词
38. if (cNode.Children.ContainsKey(key))
39. {
40. cNode = cNode.Children[key];
41. //查找是否包含脏词后面的词
42. var skip = 0;
43. for (var j = i + 1; j < text.Length; j++)
44. {
45. if (cNode.Children.ContainsKey(text[j]))
46. {
47. cNode = cNode.Children[text[j]];
48. skip = 0;
49. }
50. else
51. {
52. //允许略过过几个字符
53. skip++;
54. if (skip > 3)
55. {
56. break;
57. }
58. }
59. if (cNode.End)
60. {
61. var len = j + 1 - i;
62. text = text.Replace(text.Substring(i, len), string.Empty.PadLeft(len, ‘*‘));
63. i += len;
64. break;
65. }
66. }
67. }
68. }
69. }
70. }

使用方法如下：

1. class Program
2. {
3. static void Main(string[] args)
4. {
5. var trie = new TrieTree();
6. var keywords = "我操,妓女,fuck".Split(‘,‘);
7. foreach (var key in keywords)
8. {
9. trie.AddKey(key);
10. }
11. var text = @"我擦啊，尼玛，，fuck you，你这个妓女，贱人。";
12. trie.Replace(ref text);
13. Console.WriteLine(text);
14. Console.Read();
15. }
16. }

执行的结果：

转自http://blog.csdn.net/maddemon/article/details/7011699

Trie树-脏词过滤应用