pageRank算法是Google对网页重要性的打分算法. 一个用户浏览一个网页时,有85%的可能性点击网页中的超链接,有15%的可能性转向任意的网页.pageRank算法就是模拟这种行为. Rv:定点V的pageRank Lv:定点V的出度(出边的条数) B(u):定点u的入邻居集合 d:点击超链接的概率 N:总定点个数 当N非常大时,数据的精度可能不够,所以公式进行变换,两边同时扩大N倍. 最后公式变为 Rv:定点V的pageRank*N Lv:定点V的出度(出边的条数) B(u):定点u的…

http://blog.csdn.net/pipisorry/article/details/51350908 export HADOOP_HOME=/usr/local/hadoop-2.6.4export GRAPHLITE_HOME=/opt/GraphLite/GraphLite-0.20 pika:/opt/GraphLite/GraphLite-0.20$ . bin/setenvpika:/opt/GraphLite/GraphLite-0.20$cd enginepika:/op…

同上篇讲述pageRank一样,考虑一个顶点V. 根据顶点算法通常步骤1) 接收上个超步发出的入邻居的消息2) 计算当前顶点的值3) 向出邻居发消息 1.接收入邻居的消息 2.求入邻居的最小值,加上顶点原来的值,得value 3.向V的出邻居发送消息,消息的值为value double val = 0.0; for (每一个入邻居) { val = min(邻居) + V_value; } sendMesgsToAllNeighbors(val); 算法停止条件是所有顶点的值不再变化.…

前言 本文用Python编写代码,并通过hadoop streaming框架运行. 算法思想 下图是一个网络: 考虑转移矩阵是一个很多的稀疏矩阵,我们可以用稀疏矩阵的形式表示,我们把web图中的每一个网页及其链出的网页作为一行,即用如下方式表示: 1 A B C D 2 B A D 3 C C 4 D B C Map阶段 在Map阶段,Map操作的每一行,对所有出链发射当前网页概率值的1/k,k是当前网页的出链数,比如对第一行输出<B,1/3*1/4>,<C,1/3*1/4>,&l…

一.模型介绍 pagerank算法主要是根据网页中被链接数用来给网页进行重要性排名. 1.1模型解释 模型核心: a. 如果多个网页指向某个网页A,则网页A的排名较高. b. 如果排名高A的网页指向某个网页B,则网页B的排名也较高,即网页B的排名受指向其的网页的排名的影响. 名词解释: (1)出链如果在网页A中附加了网页B的超链接B-Link,用户浏览网页A时可以点击B-Link然后进入网页B.上面这种A附有B-Link这种情况表示A出链B.可知,网页A也可以出链C,如果A中也附件了网页C的超链…

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .GraphX介绍 1.1 GraphX应用背景 Spark GraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求. 众所周知·,社交网络中人与人之间有很多关系链,例如Twitter.Facebook.微博和微信等,这些都是大数据产生的地方都需要图计算,现在的图处理基本都是分布式的图处理,而并非单机处理.Spark G…

快刀初试:Spark GraphX在淘宝的实践 作者:明风 (本文由团队中梧苇和我一起撰写,并由团队中的林岳,岩岫,世仪等多人Review,发表于程序员的8月刊,由于篇幅原因,略作删减,本文为完整版) 对于网络科学而言,世间万物都可以抽象成点,而事物之间的关系都可以抽象成边,并根据不同的应用场景,生成不同的网络,因此整个世界都可以用一个巨大的复杂网络来代表.有关复杂网络和图算法的研究,在最近的十几年取得了巨大的进展,并在多个领域有重要的应用. 作为最大的电商平台,淘宝上数亿买家和卖家,每天产生数…

原文链接:http://www.tuicool.com/articles/3MjURj “全世界的网络连接起来,英特纳雄耐尔就一定要实现.”受益于这个时代,互联网从小众的角落走到了历史的中心舞台.如果无远弗届的互联网将把会整个世界转化成了一个巨型网络,那么就让这一切首先从淘宝开始吧. 最近我们试图将淘宝的交易记录中的物品和人组成一个对分网络(bipartite network).对于这个网络的,我们有许多有趣的问题:这个网络中节点的度分布会是什么样?在这个网络中,是否也存在“权威节点”?是否也有…

快速入门step by step MaxCompute Studio 创建完成 MaxCompute Java Module后,即可以开始开发Graph了. 代码示例 在examples目录下有graph的一些代码示例,可参考示例熟悉Graph程序的结构. 编写Graph 在module的源码目录即src>main >javanewMaxCompute Java. 选择GraphLoader/Vertex等类型,NameOK**,模板会自动填充框架代码,可在此基础上继续修改. 本地调试Grap…

本文首发于 Nebula Graph Community 公众号 在 #图计算 on nLive# 直播活动中,来自 Nebula 研发团队的 nebula-plato 维护者郝彤和 nebula-algorithm 维护者 Nicole 分别同大家分享了他她眼中的图计算. 嘉宾们 王昌圆:论坛 ID:Nicole,nebula-algorithm 维护者: 郝彤:论坛 ID:caton-hpg,nebula-plato 维护者: 先开场的是 nebula-plato 的维护者郝彤. 图计算之…