[IR课程笔记]Page Rank

主要目的:

在网络信息检索中,对每个文档的重要性作出评价。

Basic Idea:

如果有许多网页链接到某一个网页,那么这个网页比较重要。

如果某个网页被一个权重较大的网页链接,那么这个网页比较重要。

随机游走模型:

过程:1.在所有网页中,随机选择一个网页作为游走的开端。

2.然后在当前网页上的超链接中,随机选择一个超链接跳转到下一个网页。

3.大量重复1.2的过程。

重要度计算方法:

Pr(pi|p1)表示从编号为1的网页跳转到编号为i的网页的概率,其计算方式为 Pr(Pi|P1) = 1/m ,当编号为1的这个网页上有到i的连接时,否则该值为0。m表示编号为1的网页中的连接总数。

在Page Rank中,我们最终想要得到的是就是w 这个向量,在计算过程中,可以采用迭代的方法:刚开始,所有网页被访问的概率是一样的,所以w=(1,1,...,1)T

Iterate: wk = Bwk-1   直到我们可以认为 w= wk-1

随机游走模型的一个问题:

Solution:

为了解决这个问题,我们引入一个阻尼系数d,假设用户在随机游走模型中,在准备浏览下一个网页的过程中,有概率为d在当前网页选择一个超链接,也有概率为1-d的可能在地址栏键入一个新网址。由此,权重计算公式更新为:

如何排序?

用户输入一个query,搜索引擎首先计算文档的相关度和重要度,将这两个值乘以相应的参数再相加,选取top-n呈现给用户。

Topic Sensetive Page Rank

Basic Idea:

用户在随机选择一个网页进行访问时,一般是选取与当前主题(topic)相同的网页。

Method:

在计算网页的重要度时,需要计算其在每一个主题上的重要度pi,用户输入一个query时,用分类器计算这个query在每个主题上的概率wi,最后计算R(P,Q)=w1p1+w2p2+..+wnpn

Basic PageRank (in matrix form)

在Topic Sensetive Page Rank 中,假设有主题分类Ci,Tj表示Ci的一个子集

下面是p的初始值,若i页面属于主题分类Ci,那么vji = 1/(Tj),否则为0。

    以上式子是根据用户只会向相同主题页面跳转的规律得来的。

v代替p带入到Basic PageRank的公式中,需要注意的是,对于每一个主题,都需要计算Rank的值

那么,得到每一个页面的每一个Rank值之后,计算每一个页面的R(P,Q)=w1p1+w2p2+..+wnpn,其中wi表示query属于i分类的概率,而Pi表示该页面在i分类上的rank值。

时间: 2024-08-04 21:56:44

[IR课程笔记]Page Rank的相关文章

[IR课程笔记]Hyperlink-Induced Topic Search(HITS)

两个假设 1. 好的hub pages: 好的对某个主题的hub pages 链接许多好的这个主题的authoritative pages. 2. 好的authoritative pages: 好的对某个主题的authoritative pages 被许多好的这个主题的hub pages链接. 注:循环定义 算法过程: 1.找出root set :用户输入一个query,根据query中的term,在文档集中找出包含至少一个term的的文档,使他们构成root set. 2. 找出base se

[IR课程笔记]向量空间模型(Vector Space Model)

VSM思想 把文档表示成R|v|上的向量,从而可以计算文档与文档之间的相似度(根据欧氏距离或者余弦夹角) 那么,如何将文档将文档表示为向量呢? 首先,需要选取基向量/dimensions,基向量须是线性独立的或者正交的向量. 在IR系统中,有两种方式决定基向量: 1.核心概念的思想(core concept):把词语的类型分类,按照其在不同分类上的“倾斜程度”决定向量的值.but,很难决定基向量. 2.把出现过的term(词语)都当作是一个基向量,假定所有的基向量都是相互正交相互独立的.以下我们

[IR课程笔记]Query Refinement and Relevance Feedback

相关反馈的两种类型: “真实”的相关反馈: 1. 系统返回结果 2. 用户提供一些反馈 3. 系统根据这些反馈,返回一些不同的,更好的结果 “假定”的相关反馈 1. 系统得到结果但是并不返回结果 2. 系统根据这些结果改善query 3. 根据改善后的query得到结果并返回 Rocchio's Modified Query Modified query vector = Original query vector + Mean of relevant documents found by or

[IR课程笔记]概率检索模型

几个符号意义: R:相关文档集 NR:不相关文档集 q:用户查询 dj:文档j 1/0风险情况 PRP(probability ranking principle):概率排序原理,利用概率模型来估计每篇文档和需求相关概率,然后对结果进行排序. 贝叶斯最优决策原理,基于最小损失风险作出决策,返回相关的可能性大于不相关的可能性的文档: 基于检索代价的概率排序原理: crrP(R|D) + crnP(NR|D) < cnrP(R|D) + cnnP(NR|D) 如何计算概率 文档d可以表示为向量(d1

[IR课程笔记]统计语言模型

Basic idea 1.一个文档(document)只有一个主题(topic) 2.主题指的是这个主题下文档中词语是如何出现的 3.在某一主题下文档中经常出现的词语,这个词语在这个主题中也是经常出现的. 4.在某一主题下文档中不经常出现的词语,这个词语在这个主题中也是不经常出现的. 5.由此,概率计算方法可以近似为: Ranking 当给定查询q时,怎么根据统计语言模型进行排序呢?有三种排序方法,分别是:1.Query-likelihood 2.Document-likelihood 3.Di

《nodejs+gulp+webpack基础实战篇》课程笔记(四)-- 实战演练

一.用gulp 构建前端页面(1)---静态构建 npm install gulp-template --save-dev 通过这个插件,我们可以像写后台模板(譬如PHP)一样写前端页面.我们首先学习一下写法. 现在我们创建一个新任务:创建一个裸的index.html文件,然后在body里面写上 ,我的年龄是:<%= age %> 下载好gulp-template,我们引用并配置 var gulp_tpl = require("gulp-template"); gp.tas

Linux操作系统及应用课程笔记 索引

第0部分  软件的安装与配置 Linux下软件的安装与配置 第1部分*   绪论 第2部分*  Linux的安装过程 第3部分   系统Shell和常用命令 Shell文件相关常用命令及参数总结 Linux下常用命令 第4部分  VI编辑器 Linux下vi编辑器的使用 <<学习vi和vim编辑器>>1 <<学习vi和vim编辑器>>2 第5部分  Shell脚本 Shell入门之脚本管理 Shell入门之测试操作 Shell入门之条件循环 Shell入门之

Andrew Ng机器学习课程笔记(五)之应用机器学习的建议

Andrew Ng机器学习课程笔记(五)之 应用机器学习的建议 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7368472.html 前言 学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录了Andrew Ng课程第五章应用机器学习的建议,主要介绍了在测试新数据出现较大误差该怎么处理,这期间讲到了数据集的分类,偏差,方差,学习曲线等概念,帮

JAVA课程笔记_1

一 课程内容 set path查看路径信息:当编译一个程序或命令时,先从当前目录查找,如果没有,按path中的路径按顺序查找,先找到后就不查找后面的路径了. 可以将目录加入环境变量,set path="复制的路径" 可以在.java程序中编写多个类,当编译时,每个类生成各自的字节码文件. 由于多个类的字节码文件不利于管理,使用bin目录下的jar命令可以将多个字节码文件打包成jar包发布给其他程序员使用. 使用方法:先在命令提示符下输入jar,会出现使用方法和实例.Jar打包两个cla