一种通用的网页相似度检测算法

如果我们需要在海量的结构未知的网页库中找到和指定的网页相似度比较高的一些网页，我们该怎么办呢？本文提出的“一种通用的网页相似度检测算法”就是专门解决这个问题。

算法如下：

1、提取网页文本。这个提取步骤不要求精确，也没办法精确，因为你面对的是未知结构的网页，所以只需要提取去掉标签之后的文本即可。

2、对提取的文本进行分词。我们使用开源的中文分词组件word分词。

3、为每一个网页建立一个词向量，向量的维度就是两个网页的不重复词的并集，每一个维度的权重就是词频TF，我们这里忽略IDF也不影响。

4、计算词向量的余弦相似度或简单共有词。

5、相似度分值超过0.5的基本上可以视为这两个网页拥有相同的内容。

算法的实现代码来自本人的rank项目：

https://github.com/ysc/rank/blob/master/src/main/java/org/seo/rank/impl/GenericWebPageSimilarChecker.java

我的ITEYE（http://yangshangchuan.iteye.com）和OSCHINA（http://my.oschina.net/apdplat/blog）博客有很多同样的博文，主要目的是备份，这里刚好用来测试相似度检测算法的效果，从测试效果来看，相似度分值低于0.5的两篇博文，一篇是由于正文内容太少，不足以抵消干扰信息，另一篇是由于博文不是完整的内容，具体两种相似度判定情况如下所示：

判定相似性的方式一：简单共有词

检查的博文数：103，相似度大于等于0.5的博文数：103，相似度小于0.5的博文数：0

判定相似性的方式二：余弦相似度

检查的博文数：103，相似度大于等于0.5的博文数：101，相似度小于0.5的博文数：2

1、检查博文：二百多部软件著作中最重要的9224个英语单词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/391023
博文地址2：http://yangshangchuan.iteye.com/blog/2195559

2、检查博文：JDK源代码中最重要的4646个英语单词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/390915
博文地址2：http://yangshangchuan.iteye.com/blog/2195664

3、检查博文：JDK源代码以及200多部软件著作中出现的以连字符构造的1011个合成词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/394495
博文地址2：http://yangshangchuan.iteye.com/blog/2199283

4、检查博文：一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/398338
博文地址2：http://yangshangchuan.iteye.com/blog/2200810

5、检查博文：利用1189个精选句子彻底掌握2190个单词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/394941
博文地址2：http://yangshangchuan.iteye.com/blog/2199287

6、检查博文：分析在各大考纲词汇中同时拥有前缀后缀和词根的词（一），相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/392490
博文地址2：http://yangshangchuan.iteye.com/blog/2198571

7、检查博文：采集电子报纸，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/397051
博文地址2：http://yangshangchuan.iteye.com/blog/1996911

8、检查博文：Java开源项目cws_evaluation：中文分词器分词效果评估，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/308391
博文地址2：http://yangshangchuan.iteye.com/blog/2059040

9、检查博文：大数据系列11：Gora – 大数据持久化，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/396684
博文地址2：http://yangshangchuan.iteye.com/blog/1953733

10、检查博文：2000个软件开发领域的高频特殊词及精选例句（一），相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/389200
博文地址2：http://yangshangchuan.iteye.com/blog/2195665

11、检查博文：ITEYE博文抄袭检查，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/396411
博文地址2：http://yangshangchuan.iteye.com/blog/2199536

12、检查博文：OSCHINA博文抄袭检查，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/396414
博文地址2：http://yangshangchuan.iteye.com/blog/2200451

13、检查博文：中文分词算法之基于词典的逆向最大匹配算法，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/210427
博文地址2：http://yangshangchuan.iteye.com/blog/2033843

14、检查博文：网络爬虫面临的挑战之链接构造，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/208716
博文地址2：http://yangshangchuan.iteye.com/blog/2031642

15、检查博文：英语单词音近形似转化规律研究，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/378569
博文地址2：http://yangshangchuan.iteye.com/blog/2186300

16、检查博文：APDPlat中数据库备份恢复的设计与实现，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/196912
博文地址2：http://yangshangchuan.iteye.com/blog/2010680

17、检查博文：1208个合成词，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/393724
博文地址2：http://yangshangchuan.iteye.com/blog/2197556

18、检查博文：分析996个词根在各大考纲词汇中的作用（五）总结精选篇，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/391865
博文地址2：http://yangshangchuan.iteye.com/blog/2195991

19、检查博文：中文分词算法之基于词典的正向最大匹配算法，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/209211
博文地址2：http://yangshangchuan.iteye.com/blog/2031813

20、检查博文：分析113个前缀在各大考纲词汇中的作用（二）总结精选篇，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/392456
博文地址2：http://yangshangchuan.iteye.com/blog/2195996

21、检查博文：分析151个后缀在各大考纲词汇中的作用（三）总结精选篇，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/392466
博文地址2：http://yangshangchuan.iteye.com/blog/2196690

22、检查博文：Java应用系统中自动实时检测资源文件内容变化，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/312609
博文地址2：http://yangshangchuan.iteye.com/blog/2115461

23、检查博文：Java中文分词组件 - word分词，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/228619
博文地址2：http://yangshangchuan.iteye.com/blog/2056959

24、检查博文：英语单词后缀规则总结，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/379330
博文地址2：http://yangshangchuan.iteye.com/blog/2186326

25、检查博文：英语单词前缀规则总结，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/378753
博文地址2：http://yangshangchuan.iteye.com/blog/2186327

26、检查博文：APDPlat中领域模型的自描述机制与事件通知机制，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/196973
博文地址2：http://yangshangchuan.iteye.com/blog/2010734

27、检查博文：词组习语3054组，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/393374
博文地址2：http://yangshangchuan.iteye.com/blog/2197555

28、检查博文：APDPlat中的用户密码安全策略，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/207124
博文地址2：http://yangshangchuan.iteye.com/blog/2029367

29、检查博文：APDPlat拓展搜索之集成Solr，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/197020
博文地址2：http://yangshangchuan.iteye.com/blog/2010760

30、检查博文：根据76大细分词性对单词进行归组（一），相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/393771
博文地址2：http://yangshangchuan.iteye.com/blog/2197874

31、检查博文：大数据系列6：HBase – 基于Hadoop的分布式数据库，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/396587
博文地址2：http://yangshangchuan.iteye.com/blog/1954018

32、检查博文：大数据系列4：Hive – 基于HADOOP的数据仓库，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/396582
博文地址2：http://yangshangchuan.iteye.com/blog/1950178

33、检查博文：运行nutch提示：0 records selected for fetching, exiting，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/396699
博文地址2：http://yangshangchuan.iteye.com/blog/2033009

34、检查博文：计算ITEYE博文在百度的收录与排名情况，相似度分值：0.93

博文地址1：http://my.oschina.net/apdplat/blog/395970
博文地址2：http://yangshangchuan.iteye.com/blog/2199419

35、检查博文：软件业的奥斯卡奖：JOLT奖之最好的书，相似度分值：0.92

博文地址1：http://my.oschina.net/apdplat/blog/395681
博文地址2：http://yangshangchuan.iteye.com/blog/1837328

36、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/388816
博文地址2：http://yangshangchuan.iteye.com/blog/2194214

37、检查博文：APDPlat中的机器码生成机制，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/197805
博文地址2：http://yangshangchuan.iteye.com/blog/2012401

38、检查博文：APDPlat拓展搜索之集成ElasticSearch，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/197012
博文地址2：http://yangshangchuan.iteye.com/blog/2010755

39、检查博文：APDPlat中业务日志和监控日志的设计与实现，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/196604
博文地址2：http://yangshangchuan.iteye.com/blog/2010571

40、检查博文：根据76大细分词性对单词进行归组（二），相似度分值：0.9

博文地址1：http://my.oschina.net/apdplat/blog/393774
博文地址2：http://yangshangchuan.iteye.com/blog/2197877

41、检查博文：使用JSoup+CSSPath采集和讯网人物信息，相似度分值：0.9

博文地址1：http://my.oschina.net/apdplat/blog/397143
博文地址2：http://yangshangchuan.iteye.com/blog/1966497

42、检查博文：APDPlat中备份文件异地容灾机制之FTP上传，相似度分值：0.89

博文地址1：http://my.oschina.net/apdplat/blog/197005
博文地址2：http://yangshangchuan.iteye.com/blog/2010750

43、检查博文：使用CountDownLatch来模拟马拉松比赛，相似度分值：0.89

博文地址1：http://my.oschina.net/apdplat/blog/385448
博文地址2：http://yangshangchuan.iteye.com/blog/2198572

44、检查博文：配置Nutch模拟浏览器以绕过反爬虫限制，相似度分值：0.89

博文地址1：http://my.oschina.net/apdplat/blog/208457
博文地址2：http://yangshangchuan.iteye.com/blog/2030741

45、检查博文：一个月的时间让你的词汇量翻一翻，相似度分值：0.87

博文地址1：http://my.oschina.net/apdplat/blog/379303
博文地址2：http://yangshangchuan.iteye.com/blog/2186301

46、检查博文：APDPlat如何自动建库建表并初始化数据？，相似度分值：0.87

博文地址1：http://my.oschina.net/apdplat/blog/197703
博文地址2：http://yangshangchuan.iteye.com/blog/2012220

47、检查博文：给JAVA源代码文件统一地添加licence信息头，相似度分值：0.87

博文地址1：http://my.oschina.net/apdplat/blog/396415
博文地址2：http://yangshangchuan.iteye.com/blog/1841150

48、检查博文：Amazon Dynamo的NWR模型，相似度分值：0.85

博文地址1：http://my.oschina.net/apdplat/blog/393783
博文地址2：http://yangshangchuan.iteye.com/blog/2010574

49、检查博文：Ubuntu上安装HADOOP多机完全分布式集群，相似度分值：0.84

博文地址1：http://my.oschina.net/apdplat/blog/397146
博文地址2：http://yangshangchuan.iteye.com/blog/1840481

50、检查博文：Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor，相似度分值：0.83

博文地址1：http://my.oschina.net/apdplat/blog/308400
博文地址2：http://yangshangchuan.iteye.com/blog/2110604

51、检查博文：new一个Object对象占用多少内存？，相似度分值：0.83

博文地址1：http://my.oschina.net/apdplat/blog/208456
博文地址2：http://yangshangchuan.iteye.com/blog/2021423

52、检查博文：Hadoop发行版的比较与选择，相似度分值：0.83

博文地址1：http://my.oschina.net/apdplat/blog/397625
博文地址2：http://yangshangchuan.iteye.com/blog/1972846

53、检查博文：大数据系列5：Pig – 大数据分析平台，相似度分值：0.83

博文地址1：http://my.oschina.net/apdplat/blog/396584
博文地址2：http://yangshangchuan.iteye.com/blog/1950274

54、检查博文：大数据系列1：在win7上安装配置Hadoop伪分布式集群，相似度分值：0.82

博文地址1：http://my.oschina.net/apdplat/blog/396579
博文地址2：http://yangshangchuan.iteye.com/blog/1953929

55、检查博文：中文分词算法之词典机制性能优化与测试，相似度分值：0.82

博文地址1：http://my.oschina.net/apdplat/blog/213968
博文地址2：http://yangshangchuan.iteye.com/blog/2035007

56、检查博文：运行nutch报错：unzipBestEffort returned null，相似度分值：0.81

博文地址1：http://my.oschina.net/apdplat/blog/207653
博文地址2：http://yangshangchuan.iteye.com/blog/2030096

57、检查博文：使用Java调用百度搜索，相似度分值：0.81

博文地址1：http://my.oschina.net/apdplat/blog/397129
博文地址2：http://yangshangchuan.iteye.com/blog/1961058

58、检查博文：The Future of Compass & ElasticSearch，相似度分值：0.8

博文地址1：http://my.oschina.net/apdplat/blog/397148
博文地址2：http://yangshangchuan.iteye.com/blog/2010721

59、检查博文：APDPlat的系统启动和关闭流程剖析，相似度分值：0.79

博文地址1：http://my.oschina.net/apdplat/blog/197067
博文地址2：http://yangshangchuan.iteye.com/blog/2010808

60、检查博文：JAVA调用CSDN接口发博文，相似度分值：0.78

博文地址1：http://my.oschina.net/apdplat/blog/200145
博文地址2：http://yangshangchuan.iteye.com/blog/2017751

61、检查博文：模拟浏览器的神器 - HtmlUnit，相似度分值：0.78

博文地址1：http://my.oschina.net/apdplat/blog/217586
博文地址2：http://yangshangchuan.iteye.com/blog/2036809

62、检查博文：使用Java调用谷歌搜索，相似度分值：0.77

博文地址1：http://my.oschina.net/apdplat/blog/397127
博文地址2：http://yangshangchuan.iteye.com/blog/1961059

63、检查博文：分析在各大考纲词汇中既没有词根也没有前缀和后缀的独立单词，相似度分值：0.76

博文地址1：http://my.oschina.net/apdplat/blog/392483
博文地址2：http://yangshangchuan.iteye.com/blog/2196691

64、检查博文：中文分词效果对比，相似度分值：0.76

博文地址1：http://my.oschina.net/apdplat/blog/228614
博文地址2：http://yangshangchuan.iteye.com/blog/2043184

65、检查博文：中文分词算法之基于词典的逆向最小匹配算法，相似度分值：0.76

博文地址1：http://my.oschina.net/apdplat/blog/217589
博文地址2：http://yangshangchuan.iteye.com/blog/2040431

66、检查博文：Ubuntu上安装HADOOP单机伪分布式集群，相似度分值：0.76

博文地址1：http://my.oschina.net/apdplat/blog/397145
博文地址2：http://yangshangchuan.iteye.com/blog/1839809

67、检查博文：动态索引结构和索引更新机制，相似度分值：0.75

博文地址1：http://my.oschina.net/apdplat/blog/308393
博文地址2：http://yangshangchuan.iteye.com/blog/2103647

68、检查博文：大数据系列9：Mahout – 机器学习，相似度分值：0.75

博文地址1：http://my.oschina.net/apdplat/blog/396682
博文地址2：http://yangshangchuan.iteye.com/blog/1950172

69、检查博文：中文分词算法之基于词典的正向最小匹配算法，相似度分值：0.75

博文地址1：http://my.oschina.net/apdplat/blog/217588
博文地址2：http://yangshangchuan.iteye.com/blog/2040423

70、检查博文：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎，相似度分值：0.75

博文地址1：http://my.oschina.net/apdplat/blog/308396
博文地址2：http://yangshangchuan.iteye.com/blog/2103664

71、检查博文：大数据系列7：Storm – 流计算，相似度分值：0.74

博文地址1：http://my.oschina.net/apdplat/blog/396589
博文地址2：http://yangshangchuan.iteye.com/blog/1950165

72、检查博文：大数据系列10：Spark – 内存计算，相似度分值：0.74

博文地址1：http://my.oschina.net/apdplat/blog/396683
博文地址2：http://yangshangchuan.iteye.com/blog/1950276

73、检查博文：大数据系列12：Hadoop2 – 全新的Hadoop，相似度分值：0.74

博文地址1：http://my.oschina.net/apdplat/blog/396685
博文地址2：http://yangshangchuan.iteye.com/blog/1967994

74、检查博文：Nutch的发展历程，相似度分值：0.74

博文地址1：http://my.oschina.net/apdplat/blog/397151
博文地址2：http://yangshangchuan.iteye.com/blog/1949212

75、检查博文：分布式内存文件系统：Tachyon，相似度分值：0.73

博文地址1：http://my.oschina.net/apdplat/blog/377832
博文地址2：http://yangshangchuan.iteye.com/blog/2199538

76、检查博文：软件熵：软件开发中推倒重来的过程就是软件熵不断增加的过程，相似度分值：0.72

博文地址1：http://my.oschina.net/apdplat/blog/311291
博文地址2：http://yangshangchuan.iteye.com/blog/2113923

77、检查博文：APDPlat的日志国际化实现方式，相似度分值：0.71

博文地址1：http://my.oschina.net/apdplat/blog/196605
博文地址2：http://yangshangchuan.iteye.com/blog/1974027

78、检查博文：Windows上安装HADOOP单机伪分布式集群，相似度分值：0.71

博文地址1：http://my.oschina.net/apdplat/blog/397147
博文地址2：http://yangshangchuan.iteye.com/blog/1839814

79、检查博文：技术框架太多，多的眼花缭乱，如何在众多选择中找到自己的方向？，相似度分值：0.7

博文地址1：http://my.oschina.net/apdplat/blog/393810
博文地址2：http://yangshangchuan.iteye.com/blog/2197217

80、检查博文：QuestionAnsweringSystem v1.1 发布，人机问答系统，相似度分值：0.69

博文地址1：http://my.oschina.net/apdplat/blog/308392
博文地址2：http://yangshangchuan.iteye.com/blog/2101533

81、检查博文：Java8全新打造，英语学习supertool，相似度分值：0.69

博文地址1：http://my.oschina.net/apdplat/blog/393187
博文地址2：http://yangshangchuan.iteye.com/blog/2196853

82、检查博文：APDPlat旗下10大开源项目，欢迎大家一起来参与，相似度分值：0.65

博文地址1：http://my.oschina.net/apdplat/blog/395498
博文地址2：http://yangshangchuan.iteye.com/blog/2200130

83、检查博文：Nutch抓取需要登录的网站，相似度分值：0.65

博文地址1：http://my.oschina.net/apdplat/blog/208723
博文地址2：http://yangshangchuan.iteye.com/blog/2031742

84、检查博文：大数据系列8：Sqoop – HADOOP和RDBMS数据交换，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/396681
博文地址2：http://yangshangchuan.iteye.com/blog/1950171

85、检查博文：Cygwin运行nutch报错：Failed to set permissions of path，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/396698
博文地址2：http://yangshangchuan.iteye.com/blog/1839784

86、检查博文：大数据系列3：用Python编写MapReduce，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/396581
博文地址2：http://yangshangchuan.iteye.com/blog/1950157

87、检查博文：大数据系列2：建立开发环境编写HDFS和Map Reduce程序，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/396580
博文地址2：http://yangshangchuan.iteye.com/blog/1950158

88、检查博文：给LUKE增加word分词器，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/397069
博文地址2：http://yangshangchuan.iteye.com/blog/2200077

89、检查博文：分布式搜索算法，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/396196
博文地址2：http://yangshangchuan.iteye.com/blog/1965212

90、检查博文：如何解决BUG？，相似度分值：0.62

博文地址1：http://my.oschina.net/apdplat/blog/394216
博文地址2：http://yangshangchuan.iteye.com/blog/1960489

91、检查博文：nutch2.1+mysql报错及解决，相似度分值：0.61

博文地址1：http://my.oschina.net/apdplat/blog/397144
博文地址2：http://yangshangchuan.iteye.com/blog/1839782

92、检查博文：The Design of HDFS，相似度分值：0.61

博文地址1：http://my.oschina.net/apdplat/blog/397149
博文地址2：http://yangshangchuan.iteye.com/blog/2002898

93、检查博文：如何在你的应用中集成人机问答系统QuestionAnsweringSystem?，相似度分值：0.6

博文地址1：http://my.oschina.net/apdplat/blog/308397
博文地址2：http://yangshangchuan.iteye.com/blog/2108250

94、检查博文：30个JDK类库源代码中最频繁出现的词的深度分析，相似度分值：0.59

博文地址1：http://my.oschina.net/apdplat/blog/390615
博文地址2：http://yangshangchuan.iteye.com/blog/2194885

95、检查博文：Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？，相似度分值：0.59

博文地址1：http://my.oschina.net/apdplat/blog/396126
博文地址2：http://yangshangchuan.iteye.com/blog/1969491

96、检查博文：SOLR4.2+NUTCH1.6，相似度分值：0.58

博文地址1：http://my.oschina.net/apdplat/blog/397150
博文地址2：http://yangshangchuan.iteye.com/blog/2200131

97、检查博文：搜索引擎的分片（shard）和副本（replica）机制，相似度分值：0.57

博文地址1：http://my.oschina.net/apdplat/blog/308395
博文地址2：http://yangshangchuan.iteye.com/blog/2103650

98、检查博文：配置Cygwin支持无密码SSH登陆，相似度分值：0.54

博文地址1：http://my.oschina.net/apdplat/blog/397057
博文地址2：http://yangshangchuan.iteye.com/blog/1839812

99、检查博文：HBase on CAP，相似度分值：0.54

博文地址1：http://my.oschina.net/apdplat/blog/397628
博文地址2：http://yangshangchuan.iteye.com/blog/2002544

100、检查博文：对Nutch2.1抽象存储层的一些看法，相似度分值：0.53

博文地址1：http://my.oschina.net/apdplat/blog/396129
博文地址2：http://yangshangchuan.iteye.com/blog/1835074

101、检查博文：使用Java8实现自己的个性化搜索引擎，相似度分值：0.52

博文地址1：http://my.oschina.net/apdplat/blog/396193
博文地址2：http://yangshangchuan.iteye.com/blog/2199420

102、检查博文：Java中的null引用，超乎你想象，相似度分值：0.49

博文地址1：http://my.oschina.net/apdplat/blog/217587
博文地址2：http://yangshangchuan.iteye.com/blog/2038163

103、检查博文：word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器分词效果评估，相似度分值：0.26

博文地址1：http://my.oschina.net/apdplat/blog/228615
博文地址2：http://yangshangchuan.iteye.com/blog/2056537

时间： 2024-10-11 04:46:48

一种通用的网页相似度检测算法的相关文章

基于word分词提供的文本相似度算法来实现通用的网页相似度检测

实现代码:基于word分词提供的文本相似度算法来实现通用的网页相似度检测运行结果: 检查的博文数:128 1.检查博文:192本软件著作用词分析(五)用词最复杂99级,相似度分值:Simple=0.968589 Cosine=0.955598 EditDistance=0.916884 EuclideanDistance=0.00825 ManhattanDistance=0.001209 Jaccard=0.859838 JaroDistance=0.824469 JaroWinklerDi

3D空间中射线与轴向包围盒AABB的交叉检测算法【转】

引言在上一节中,我讲述了如何实现射线与三角形的交叉检测算法.但是,我们应该知道,在游戏开发中,一个模型有很多的三角形构成,如果要对所有的物体,所有的三角形进行这种检测,就算现在的计算机运算能力,也是无法高效的完成.所以,我们需要通过其他的手段来提早剔除一些不可能发生交叉的物体,这种早退的思想,大量的运用在3D游戏技术中.在本篇文章中,我将像大家讲述如何实现射线与轴向包围盒AABB的交叉检测.如果读者不明白什么是轴向包围盒,请看这篇文章. Ray-AABB交叉检测算法现如今,有很多的Ray-A

3D空间中射线与轴向包围盒AABB的交叉检测算法【转】

http://blog.csdn.net/i_dovelemon/article/details/38342739 引言在上一节中,我讲述了如何实现射线与三角形的交叉检测算法. 但是,我们应该知道,在游戏开发中,一个模型有很多的三角形构成,如果要对所有的物体,所有的三角形进行这种检测,就算现在的计算机运算能力,也是无法高效的完成.所以,我们需要通过其他的手段来提早剔除一些不可能发生交叉的物体,这种早退的思想,大量的运用在3D游戏技术中.在本篇文章中,我将像大家讲述如何实现射线与轴向包围盒A

代码相识度检测工具

代码相似度检测相关软件: 1.NiCad Clone Detector NiCad Clone Detector 是一个灵活的基于 TXL 的混合语言敏感/文本比较软件克隆检测系统,由James R. Cordy和Chanchal K. Roy开发,最初是基于Chanchal的博士论文工作.NiCad5是一个重要的新实现,有许多重要的改进和优化.NiCad克隆检测是一个可扩展的.灵活的克隆检测工具,设计用于实现NiCad(自动检测接近遗漏的有意克隆)混合克隆检测方法,它是一种方便.易于使用的命令

ASIC设计中一种通用型并行设计方法

我是个"低调"的人,总不喜欢表达出来,对异性如此,对工作也是如此.在翔哥的鼓励下,决定把自己工作的一些经验和思考写下来,和同道们一起分享. ASIC设计中一种通用型并行设计方法: 1)流水网的概念提出 IC设计中的控制有串行和并行两种思想.状态机方法反应了串行控制思想,有软件的思路,比较好理解,新手比较喜欢用.流水线方法是并行处理的思想,比较抽象,因为其效率高,老手喜欢用.从"流水线"的名字就容易知道,它只是一维的一条线,一个设计中可以有很多条.小设计中可能很容易设

一种通用查询语言的定义与实践

最近发现在项目中或许会遇到让用户自己构建查询表达式的情况.比如需要通过一种可配置的界面,来让用户输入一组具有逻辑关系的查询表达式,然后根据这个查询表达式来过滤并返回所需要的数据.这种用户案例其实非常常见.由此受到启发,或许我们可以自己定义一种通用的面向查询的领域特定语言(DSL),来实现查询的序列化和动态构建. 概述由此我发布了一个称为Unified Queries(以下简称UQ)的开源项目,UQ定义了一种DSL,用以描述一种查询的特定结构.它同时还提供了将查询规约(Query Specifi

Google官方网页载入速度检测工具PageSpeed Insights 使用教程

相信有接触前端开发的大神们都听说过Google官方的PageSpeed Tools,这个网页载入速度检测工具有在线版本也有一个 Chrome 扩展,叫PageSpeed Insights,在此之前,Jeff 了解的更多是雅虎的 Yslow .不过在Jeff 使用过 PageSpeed Insights 后,感觉更加容易上手--因为人家PageSpeed Insights 有中文!下面就介绍一下PageSpeed Insights. Google官方的PageSpeed Tools的两个版本在线

一种通用的树形二进制协议描述方法与处理算法

概述: 本方法定义了一种数据结构,可用于描述任意的树形二进制协议,并配合一个特定的处理算法,可实现一种通用的,由该种树形二进制协议定义的比特流解析与填充的处理,该数据结构的定义如下: /* 以下结构用于定义一个协议节点的描述信息. */ struct _proto_info; typedef struct _proto_des { const char * name; /* 用于描述一个协议节点的名称. */ size_t stat

论文相似度检测

毕业季到来,论文的相似度检测是大家的一个重中之重的问题,可以通过下面的链接检测哦! 论文相似度检测 Http://www.writehelp.cn/agent/lunwenxiangsidujiance

一种通用的网页相似度检测算法

如果我们需要在海量的结构未知的网页库中找到和指定的网页相似度比较高的一些网页，我们该怎么办呢？本文提出的“一种通用的网页相似度检测算法”就是专门解决这个问题。

判定相似性的方式一：简单共有词

检查的博文数：103，相似度大于等于0.5的博文数：103，相似度小于0.5的博文数：0

1、检查博文：一个月的时间让你的词汇量翻一翻，相似度分值：0.99

2、检查博文：1208个合成词，相似度分值：0.99

3、检查博文：分析996个词根在各大考纲词汇中的作用（五）总结精选篇，相似度分值：0.99

4、检查博文：根据76大细分词性对单词进行归组（二），相似度分值：0.99

5、检查博文：根据76大细分词性对单词进行归组（一），相似度分值：0.99

6、检查博文：2000个软件开发领域的高频特殊词及精选例句（一），相似度分值：0.99

7、检查博文：JDK源代码中最重要的4646个英语单词，相似度分值：0.98

8、检查博文：利用1189个精选句子彻底掌握2190个单词，相似度分值：0.98

9、检查博文：词组习语3054组，相似度分值：0.97

10、检查博文：英语单词后缀规则总结，相似度分值：0.97

11、检查博文：英语单词音近形似转化规律研究，相似度分值：0.97

12、检查博文：英语单词前缀规则总结，相似度分值：0.96

13、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：0.95

14、检查博文：分析151个后缀在各大考纲词汇中的作用（三）总结精选篇，相似度分值：0.95

15、检查博文：二百多部软件著作中最重要的9224个英语单词，相似度分值：0.94

16、检查博文：JDK源代码以及200多部软件著作中出现的以连字符构造的1011个合成词，相似度分值：0.94

17、检查博文：分析在各大考纲词汇中既没有词根也没有前缀和后缀的独立单词，相似度分值：0.94

18、检查博文：分析113个前缀在各大考纲词汇中的作用（二）总结精选篇，相似度分值：0.94

19、检查博文：OSCHINA博文抄袭检查，相似度分值：0.94

20、检查博文：ITEYE博文抄袭检查，相似度分值：0.93

21、检查博文：一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法，相似度分值：0.92

22、检查博文：分析在各大考纲词汇中同时拥有前缀后缀和词根的词（一），相似度分值：0.91

23、检查博文：软件业的奥斯卡奖：JOLT奖 之 最好的书，相似度分值：0.9

24、检查博文：计算ITEYE博文在百度的收录与排名情况，相似度分值：0.87

25、检查博文：APDPlat中数据库备份恢复的设计与实现，相似度分值：0.84

26、检查博文：中文分词算法 之 基于词典的逆向最大匹配算法，相似度分值：0.84

27、检查博文：Java中文分词组件 - word分词，相似度分值：0.84

28、检查博文：网络爬虫面临的挑战 之 链接构造，相似度分值：0.84

29、检查博文：APDPlat中的用户密码安全策略，相似度分值：0.83

30、检查博文：Hadoop发行版的比较与选择，相似度分值：0.81

31、检查博文：APDPlat拓展搜索之集成ElasticSearch，相似度分值：0.81

32、检查博文：大数据系列11：Gora – 大数据持久化，相似度分值：0.81

33、检查博文：APDPlat拓展搜索之集成Solr，相似度分值：0.81

34、检查博文：APDPlat如何自动建库建表并初始化数据？，相似度分值：0.8

35、检查博文：中文分词算法 之 基于词典的正向最大匹配算法，相似度分值：0.8

36、检查博文：Java应用系统中自动实时检测资源文件内容变化，相似度分值：0.78

37、检查博文：采集电子报纸，相似度分值：0.78

38、检查博文：Java开源项目cws_evaluation：中文分词器分词效果评估，相似度分值：0.78

39、检查博文：APDPlat中业务日志和监控日志的设计与实现，相似度分值：0.78

40、检查博文：APDPlat的系统启动和关闭流程剖析，相似度分值：0.77

41、检查博文：The Future of Compass & ElasticSearch，相似度分值：0.77

42、检查博文：APDPlat中领域模型的自描述机制与事件通知机制，相似度分值：0.76

43、检查博文：APDPlat中备份文件异地容灾机制之FTP上传，相似度分值：0.76

44、检查博文：QuestionAnsweringSystem v1.1 发布，人机问答系统，相似度分值：0.76

45、检查博文：APDPlat中的机器码生成机制，相似度分值：0.75

46、检查博文：大数据系列4：Hive – 基于HADOOP的数据仓库，相似度分值：0.74

47、检查博文：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎，相似度分值：0.73

48、检查博文：软件熵：软件开发中推倒重来的过程就是软件熵不断增加的过程，相似度分值：0.73

49、检查博文：大数据系列1：在win7上安装配置Hadoop伪分布式集群，相似度分值：0.72

50、检查博文：new一个Object对象占用多少内存？，相似度分值：0.72

51、检查博文：中文分词效果对比，相似度分值：0.72

52、检查博文：运行nutch提示：0 records selected for fetching, exiting，相似度分值：0.72

53、检查博文：Amazon Dynamo的NWR模型，相似度分值：0.71

54、检查博文：配置Nutch模拟浏览器以绕过反爬虫限制，相似度分值：0.71

55、检查博文：Ubuntu上安装HADOOP多机完全分布式集群，相似度分值：0.7

56、检查博文：Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor，相似度分值：0.7

57、检查博文：APDPlat旗下10大开源项目，欢迎大家一起来参与，相似度分值：0.7

58、检查博文：中文分词算法 之 词典机制性能优化与测试，相似度分值：0.7

59、检查博文：给JAVA源代码文件统一地添加licence信息头，相似度分值：0.7

60、检查博文：技术框架太多，多的眼花缭乱，如何在众多选择中找到自己的方向？，相似度分值：0.7

61、检查博文：大数据系列6：HBase – 基于Hadoop的分布式数据库，相似度分值：0.69

62、检查博文：运行nutch报错：unzipBestEffort returned null，相似度分值：0.69

63、检查博文：JAVA调用CSDN接口发博文，相似度分值：0.69

64、检查博文：The Design of HDFS，相似度分值：0.68

65、检查博文：大数据系列7：Storm – 流计算，相似度分值：0.68

66、检查博文：使用JSoup+CSSPath采集和讯网人物信息，相似度分值：0.68

67、检查博文：大数据系列5：Pig – 大数据分析平台，相似度分值：0.68

68、检查博文：如何在你的应用中集成人机问答系统QuestionAnsweringSystem?，相似度分值：0.67

69、检查博文：如何解决BUG？，相似度分值：0.67

70、检查博文：Windows上安装HADOOP单机伪分布式集群，相似度分值：0.67

71、检查博文：分布式内存文件系统：Tachyon，相似度分值：0.66

72、检查博文：30个JDK类库源代码中最频繁出现的词的深度分析，相似度分值：0.65

73、检查博文：Ubuntu上安装HADOOP单机伪分布式集群，相似度分值：0.65

74、检查博文：使用CountDownLatch来模拟马拉松比赛，相似度分值：0.64

75、检查博文：大数据系列10：Spark – 内存计算，相似度分值：0.64

76、检查博文：Java8全新打造，英语学习supertool，相似度分值：0.64

23、检查博文：软件业的奥斯卡奖：JOLT奖之最好的书，相似度分值：0.9

26、检查博文：中文分词算法之基于词典的逆向最大匹配算法，相似度分值：0.84

28、检查博文：网络爬虫面临的挑战之链接构造，相似度分值：0.84

35、检查博文：中文分词算法之基于词典的正向最大匹配算法，相似度分值：0.8

58、检查博文：中文分词算法之词典机制性能优化与测试，相似度分值：0.7

93、检查博文：中文分词算法之基于词典的正向最小匹配算法，相似度分值：0.59

94、检查博文：中文分词算法之基于词典的逆向最小匹配算法，相似度分值：0.59

13、检查博文：中文分词算法之基于词典的逆向最大匹配算法，相似度分值：0.97

14、检查博文：网络爬虫面临的挑战之链接构造，相似度分值：0.97

19、检查博文：中文分词算法之基于词典的正向最大匹配算法，相似度分值：0.96

35、检查博文：软件业的奥斯卡奖：JOLT奖之最好的书，相似度分值：0.92