Jsp敏感词过滤

  Jsp敏感词过滤

  大部分论坛、网站等,为了方便管理,都进行了关于敏感词的设定。

  在多数网站,敏感词一般是指带有敏感政治倾向(或反执政党倾向)、暴力倾向、不健康色彩的词或不文明语,也有一些网站根据自身实际情况,设定一些只适用于本网站的特殊敏感词。

比如,当你发贴的时候带有某些事先设定的词时,这个贴是不能发出的。或者这个词被自动替换为星号(*)或叉号(X)等,或者说是被和谐掉了。

  在我看来敏感词过滤最重要的是在写过滤词汇的算法,如何过滤出大批量的敏感词,我感觉DFA的思想不错

  DFA简介

在实现文字过滤的算法中,DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton,也就是确定有穷自动机,它是是通过event和当前的state得到下一个state,即event+state=nextstate。下图展示了其状态的转换

在这幅图中大写字母(S、U、V、Q)都是状态,小写字母a、b为动作。通过上图我们可以看到如下关系

a b b 
S -----> U S -----> V U -----> V

在实现敏感词过滤的算法中,我们必须要减少运算,而DFA在DFA算法中几乎没有什么计算,有的只是状态的转换。

   Java实现DFA算法实现敏感词过滤

在Java中实现敏感词过滤的关键就是DFA算法的实现。首先我们对上图进行剖析。在这过程中我们认为下面这种结构会更加清晰明了。

同时这里没有状态转换,没有动作,有的只是Query(查找)。我们可以认为,通过S query U、V,通过U query V、P,通过V query U P。通过这样的转变我们可以将状态的转换转变为使用Java集合的查找。

诚然,加入在我们的敏感词库中存在如下几个敏感词:日本人、日本鬼子、毛.泽.东。那么我需要构建成一个什么样的结构呢?

首先:query 日 ---> {本}、query 本 --->{人、鬼子}、query 人 --->{null}、query 鬼 ---> {子}。形如下结构:

下面我们在对这图进行扩展:

这样我们就将我们的敏感词库构建成了一个类似与一颗一颗的树,这样我们判断一个词是否为敏感词时就大大减少了检索的匹配范围。比如我们要判断日本人,根据第一个字我们就可以确认需要检索的是那棵树,然后再在这棵树中进行检索。

  这个思想留着以后用,我先写一个过滤词汇的一些简单方法,没有涉及到算法

  Java代码实现

  基本思路:重写HttpServletRequestWrapper中的getParameter方法,让用户输入的字通过这个过滤,写一个类继承他,重写方法,在写一个过滤词汇的词典,来与输入的对比

先写一个jsp页面,js是用Ajax去刷新的,最近学的想用用试试看,感觉不错,Ajax是需要引js文件的

<body>
    <input type="text" name="word"  onblur="filter(this.value);" id="filter"/>
    <input type="submit" value="敏感词过滤" />
<script type="text/javascript" src="js/jquery.js"></script>
<script type="text/javascript">
    function filter(num){
        $.ajax({
            type:"post",//提交方式
            url:"FilterWordServlet",
            async:true,//是否异步请求
            dataType:"html",//数据的返回类型
            data:{"num":num},//数据传过去的值
            success:function(data,textStatus){//成功的执行之后,回调这个函数处理事务
                $("#filter").val(data);
            },
            error:function(){//失败执行这个函数,处理失败的事务
                alert("error");
            }
        })
    }
</script>
</body>

再继承HttpServletRequestWrapper在重写getParameter方法,

//主要思路是继承HttpServletRequestWrapper,去改写他的getParameter方法,让其有过滤的业务
public class WordFilter extends HttpServletRequestWrapper{

    public WordFilter(HttpServletRequest request) {
        super(request);
        // TODO Auto-generated constructor stub
    }
    @Override
    public String getParameter(String name){
        //先得到父亲的方法,传入值,得到的值在跟过滤字典中的比较看是否含有,有则替换,没有放过返回
        String word=super.getParameter(name);
        //调用字典中的文字
        List<String> list=Words.getList();
        for (String string : list) {
            //判断是否含有这样字典中的文字
            if (word.contains(string)) {
                //将字符串中含有的替换掉
                word=word.replace(string, "**");
            }
        }
        return word;
    }

}

再写一个Servlet,去获取用户输入的字,进行过滤操作

@WebServlet("/FilterWordServlet")
public class FilterWordServlet extends HttpServlet {
    private static final long serialVersionUID = 1L;
    protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        //设置请求和编码格式
        request.setCharacterEncoding("utf-8");
        response.setCharacterEncoding("utf-8");
        //自己创建的请求方法,继承与原来的,改写了getParameter方法让其有过滤的业务
        WordFilter wFilter=new WordFilter(request);
         String string=wFilter.getParameter("num");
         System.out.println("---------------");
         //out的响应方法。输出在页面上,让ajax得到这个去处理一些业务
         PrintWriter out=response.getWriter();
         out.println(string);

    }

    protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        // TODO Auto-generated method stub
        doGet(request, response);
    }

}

我自己建了一个list集合的过滤词汇,以后修改可以从这里开始词汇的搜索算法,先建一个词汇类

public class Words {
    //过滤词汇的词典
    static List<String> list=new ArrayList<>();
    static{
        list.add("你妹的");
        list.add("sb");
        list.add("滚");
    }
    public static List<String> getList() {
        return list;
    }
    public static void setList(List<String> list) {
        Words.list = list;
    }

}

这只是最基础的一种。高级的需要算法的实现,可以思考一下这个DFA算法,我感觉很不错

时间: 2024-10-12 13:24:43

Jsp敏感词过滤的相关文章

JavaWeb-过滤器Filter学习(四)敏感词过滤实例

通过Filter来实现留言板的敏感词过滤- 思路很简单,我们这里的敏感词是直接先放进去的,实际项目中,肯定是存在数据库中.在Filter 过滤器中,我们先拿到用户提交的留言,如果出现了敏感词,我们就用*号来替换. 代码演示: index.jsp: <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <%@taglib uri="htt

转:Java实现敏感词过滤

敏感词.文字过滤是一个网站必不可少的功能,如何设计一个好的.高效的过滤算法是非常有必要的.前段时间我一个朋友(马上毕业,接触编程不久)要我帮他看一个文字过滤的东西,它说检索效率非常慢.我把它程序拿过来一看,整个过程如下:读取敏感词库.如果HashSet集合中,获取页面上传文字,然后进行匹配.我就想这个过程肯定是非常慢的.对于他这个没有接触的人来说我想也只能想到这个,更高级点就是正则表达式.但是非常遗憾,这两种方法都是不可行的.当然,在我意识里没有我也没有认知到那个算法可以解决问题,但是Googl

Java实现敏感词过滤

敏感词.文字过滤是一个网站必不可少的功能,如何设计一个好的.高效的过滤算法是非常有必要的.前段时间我一个朋友(马上毕业,接触编程不久)要我帮他看一个文字过滤的东西,它说检索效率非常慢.我把它程序拿过来一看,整个过程如下:读取敏感词库.如果HashSet集合中,获取页面上传文字,然后进行匹配.我就想这个过程肯定是非常慢的.对于他这个没有接触的人来说我想也只能想到这个,更高级点就是正则表达式.但是非常遗憾,这两种方法都是不可行的.当然,在我意识里没有我也没有认知到那个算法可以解决问题,但是Googl

Java实现敏感词过滤(转)

敏感词.文字过滤是一个网站必不可少的功能,如何设计一个好的.高效的过滤算法是非常有必要的.前段时间我一个朋友(马上毕业,接触编程不久)要我帮他看一个文字过滤的东西,它说检索效率非常慢.我把它程序拿过来一看,整个过程如下:读取敏感词库.如果HashSet集合中,获取页面上传文字,然后进行匹配.我就想这个过程肯定是非常慢的.对于他这个没有接触的人来说我想也只能想到这个,更高级点就是正则表达式.但是非常遗憾,这两种方法都是不可行的.当然,在我意识里没有我也没有认知到那个算法可以解决问题,但是Googl

敏感词过滤

敏感词过滤是很多网站.论坛常用的功能,一下为相关文章: 1.关于java中敏感词检测的一些总结 2.Java 利用DFA算法 屏蔽敏感词 3.Java实现敏感词过滤--DFA算法

敏感词过滤,js封装class选择器:

敏感词过滤: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script> window.onload = function () { var oBtn = document.getElementById("btn"); var aT = d

DFA和trie字典树实现敏感词过滤(python和c语言)

现在做的项目都是用python开发,需要用做关键词检查,过滤关键词,之前用c语言做过这样的事情,用字典树,蛮高效的,内存小,检查快. 到了python上,第一想法是在pip上找一个基于c语言的python字典树模块,可惜没找到合适的,如果我会用c写python模块的话,我就自己写一个了,可惜我还不具备这个能力, 只能用python写了,性能差一点就差点吧,内存多一点也无所谓了. 用搜索引擎看CSDN上的网友的用python实现的DFA,再参照自己以前用c语言写过的字典树,有些不大对,就自己写了一

DFA和trie特里实现敏感词过滤(python和c语言)

今天的项目是与完成python开展,需要使用做关键词检查,筛选分类,使用前c语言做这种事情.有了线索,非常高效,内存小了,检查快. 到达python在,第一个想法是pip基于外观的c语言python特里模块.不幸的是,我们没有找到一个合适的,假设我会用c书写python模块的话.就自己写一个了,可惜我还不具备这个能力. 仅仅能用python写了,性能差一点就差点吧,内存多一点也无所谓了. 用搜索引擎看CSDN上的网友的用python实现的DFA,再參照自己曾经用c语言写过的字典树.有些不大对,就

敏感词过滤的算法原理之DFA算法

参考文档 http://blog.csdn.net/chenssy/article/details/26961957 敏感词.文字过滤是一个网站必不可少的功能,如何设计一个好的.高效的过滤算法是非常有必要的.前段时间我一个朋友(马上毕业,接触编程不久)要我帮他看一个文字过滤的东西,它说检索效率非常慢.我把它程序拿过来一看,整个过程如下:读取敏感词库.如果HashSet集合中,获取页面上传文字,然后进行匹配.我就想这个过程肯定是非常慢的.对于他这个没有接触的人来说我想也只能想到这个,更高级点就是正