输入格式: A 1 B,C,D B 1 C,Dmap: B A 1/3 C A 1/3 D A 1/3 A |B,C,D C B 1/2 D B 1/2 B |C,Dreduce: B (1-0.85)+0.85*1/3 C,D C (1-0.85)+0.85*5/6 D (1-0.85)+0.85*5/6 A (1-0.85)+0.85*0 B,C,D import java.io.IOException; import org.apache.hadoop.conf.Configuration…
前言 本文用Python编写代码,并通过hadoop streaming框架运行. 算法思想 下图是一个网络: 考虑转移矩阵是一个很多的稀疏矩阵,我们可以用稀疏矩阵的形式表示,我们把web图中的每一个网页及其链出的网页作为一行,即用如下方式表示: 1 A B C D 2 B A D 3 C C 4 D B C Map阶段 在Map阶段,Map操作的每一行,对所有出链发射当前网页概率值的1/k,k是当前网页的出链数,比如对第一行输出<B,1/3*1/4>,<C,1/3*1/4>,&l…
PageRank 简单理解为网页排名,但是网页是根据什么排名的,接下来就简单介绍一下. 举例: 假设网页 A 的内容中有网页 B,C 和 D 的链接,并且 A 的 PageRank的值为0.25. 那接下里我们就可以计算在网页 A 中的其他网页的PageRank的值了.我们拿网页 B 来进行说明, 在网页 A 中的网页 B 的 PageRank 为 0.25 * (1/n) 其中n为网页 A 中网页链接数,结果则为 0.25*(1/3). 可以简单理解为A的PageRank被B,C 和 D 平分…
