Angel图算法
Angel图算法
[2.0]CommonFriends
计算两个好友的共同好友数,某种程度上可以刻画两个节点之间的紧密程度。
输入
- 输入数据路径:输入文件所在路径,无权网络数据, 数据格式为两列 srcId(long) | dstId(long), 其中|为分隔符,分隔字段表示空白符或者逗号等。
- 输入文件类型:格式包括以下两种:
- csv:csv 文件。
- 输入数据包含 header 信息。
- 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
输出
- 输出数据路径:输出文件所在路径。
- 输出数据格式:格式包括以下两种:
- csv:csv 文件。
- 输出数据包含 header 信息。
- 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
参数说明
- src:源节点列。
- dst:目标节点列。
- numPartition:分区数。
资源参数
- drive 节点资源类型:请选择合适的 drive 节点机型。
- executor 节点资源类型:请选择合适的 executor 节点机型。
- num-executors:分配计算节点数目,可根据数据量来配置,一般训练数据量越大,需要的 worker 个数越多。
- spark-conf:spark常用参数配置,如压缩、序列化、网络等。
[2.0]HyperAnf
估计网络的平均半径。
输入
- 输入数据路径:输入文件所在路径,无权网络数据, 数据格式为两列 srcId(long) | dstId(long), 其中|为分隔符,分隔字段表示空白符或者逗号等。
- 输入文件类型:格式包括以下两种:
- csv:csv 文件。
- 输入数据包含 header 信息。
- 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
输出
- 输出数据路径:输出文件所在路径。
- 输出数据格式:格式包括以下两种:
- csv:csv 文件。
- 输出数据包含 header 信息。
- 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
算法结果保存路径,共两列,其中第一列为 round 值,第二列为 anf 值,其中round = -1对应的 anf 为最终估计值。
参数说明
- src:源节点列。
- dst:目标节点列。
- numPartition:分区数。
- maxIter:最大迭代次数。
资源参数
- drive 节点资源类型:请选择合适的 drive 节点机型。
- executor 节点资源类型:请选择合适的 executor 节点机型。
- num-executors:分配计算节点数目,可根据数据量来配置,一般训练数据量越大,需要的 worker 个数越多。
- spark-conf:spark 常用参数配置,如压缩、序列化、网络等。
[2.0]LPA
LPA(Label Propagation Algorithm)是最简单的社区发现算法,通过标签扩散发掘网络的社区关系。
输入
- 输入数据路径:输入文件所在路径。
- 输入文件类型:格式包括以下两种:
- csv:csv 文件。
- 输入数据包含 header 信息。
- 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
输出
- 输出数据路径:输出文件所在路径。
- 输出数据格式:格式包括以下两种:
- csv:csv 文件。
- 输出数据包含 header 信息。
- 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
算法结果保存路径,共两列,其中第一列为节点 ID,第二列为节点对应的社区 ID。社区 ID 相同表示属于同一个社区。
参数说明
- src:源节点列。
- dst:目标节点列。
- numPartition:分区数。
资源参数
- num-executors:使用多少个 Spark 节点。
- driver-memory:Spark driver 的内存大小。
- executor-cores:每个 Spark 节点使用多少个 core。
- executor-memory:每个 Spark 节点使用的内存大小。
- spark-conf:Spark 的其他参数。 由于权限原因,需要用户额外提供 ugi 参数 spark.hadoop.hadoop.job.ugi=用户名:密码。
[2.0]EffectiveSize
EffectiveSize 是由结构空洞理论得到的网络度量指标,是 ego-network 中节点的重要衡量指标。
输入
- 输入数据路径:输入文件所在路径。
- 输入文件类型:格式包括以下两种:
- csv:csv 文件。
- 输入数据包含 header 信息。
- 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
- text:本文件。
- parquet:列式存储格式 parquet。
输出
- 输出数据路径:输出文件所在路径。
- 输出数据格式:格式包括以下两种:
- csv:csv 文件。
- 输出数据包含 header 信息
- 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
算法结果保存路径,共三列,其中第一列为节点 ID,第二列为 effectiveSize 值,第三列为 redundancyCol 值。
参数说明
- src:源节点列。
- dst:目标节点列。
- numPartition:分区数。
资源参数
- num-executors:使用多少个 Spark 节点。
- driver-memory:Spark driver 的内存大小。
- executor-cores:每个 Spark 节点使用多少个 core。
- executor-memory:每个 Spark 节点使用的内存大小。
- spark-conf:Spark 的其他参数。由于权限原因,需要用户额外提供 ugi 参数 spark.hadoop.hadoop.job.ugi=用户名:密码。
[2.0]PageRank
PageRank 是著名的节点排序算法,由 Google 发表。
输入
- 输入数据路径:输入文件所在路径。
- 输入文件类型:格式包括以下两种:
- csv:csv 文件。
- 输入数据包含 header 信息。
- 输入数据分割符:主要包括逗号、空格、分号、星号等分割符。
- text:本文件。
- parquet:列式存储格式 parquet。
输出
- 输出数据路径:输出文件所在路径。
- 输出数据格式:格式包括以下两种:
- csv:csv 文件。
- 输出数据包含 header 信息
- 输出数据分割符:主要包括逗号、空格、分号、星号等分割符。
- parquet:列式存储格式 parquet。
算法结果保存路径,共三列,其中第一列为节点 ID,第二列为 effectiveSize 值,第三列为 redundancyCol 值。
参数说明
- src:源节点列。
- dst:目标节点列。
- numPartition:分区数。
- maxIter:最大迭代次数。
- tol:最小容忍误差,当误差小于该值时,算法迭代提早结束。
资源参数
- num-executors:使用多少个 Spark 节点。
- driver-memory:Spark driver 的内存大小。
- executor-cores:每个 Spark 节点使用多少个 core。
- executor-memory:每个 Spark 节点使用的内存大小。
- spark-conf:Spark 的其他参数。由于权限原因,需要用户额外提供 ugi 参数 spark.hadoop.hadoop.job.ugi=用户名:密码。
Angel图算法的更多相关文章
- 腾讯 angel 3.0:高效处理模型
腾讯 angel 3.0:高效处理模型 紧跟华为宣布新的 AI 框架开源的消息,腾讯又带来了全新的全栈机器学习平台 angel3.0.新版本功能特性覆盖了机器学习的各个阶段,包括:特征工程.模型训练. ...
- 黑科技项目:英雄无敌III Mod <<Fallen Angel>>介绍
英雄无敌三简介(Heroes of Might and Magic III) 英3是1999年由New World Computing在Windows平台上开发的回合制策略魔幻游戏,其出版商是3DO. ...
- 基于mapreducer的图算法
作者现就职阿里巴巴集团1688技术部 引言 周末看到一篇不错的文章"Graph Twiddling in a MapReduce world" ,介绍MapReduce下一些图算法 ...
- Sad Angel (悲伤的天使)-Игорь Крутой
悲伤的天使(neyanbhbin) -经典作曲Sad Angel( Печальныйангел)生活是一种连续的影响,每个小人物都有小人物的伟大故事.从开头的情侣,到美丽的丝带,从清洁老伯到卖气球的 ...
- 数据库备份还原工具EMS SQL Angel for SQL Server发布1.3版本
EMS公司,是专门从事企业数据库以及内置于多层次客户服务器结构自动化开发.其EMS SQL Angel for SQL Server工具,便是SQL Servers数据库数据备份还原工具,并且还能使用 ...
- Angel - MemoryDataBlock - angel.task.estimize.sample.number
angel.task.estimize.sample.number val validData = new MemoryDataBlock[LabeledData](isVali) trainData ...
- Angel - 模拟Kafka数据流调试FTRL的方法
Angel - 模拟Kafka数据流调试FTRL的方法 Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件,比如,新建一个 ...
- Angel 实现FFM 一、对于Angel 和分布式机器学习的简单了解
Angel是腾讯开源的一个分布式机器学习框架.是一个PS模式的分布式机器学习框架. https://github.com/Angel-ML/angel 这是github地址. 我了解的分布式机器学 ...
- 大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述、解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank 实例
第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式 ...
随机推荐
- sublime text 快捷键的使用大全
多行选择后按下ctrl+/ 选择类 Ctrl+D 选中光标所占的文本,继续操作则会选中下一个相同的文本. Alt+F3 选中文本按下快捷键,即可一次性选择全部的相同文本进行同时编辑.举个栗子:快速选中 ...
- PHP正则匹配各种匹配方法
平时做网站经常要用正则表达式,下面是一些讲解和例子,仅供大家参考和修改使用: 匹配数字 "^\d+$" //非负整数(正整数 + 0) "[1][1-9][0-9]$&q ...
- hdu1572 水搜索
题意: 中文的不解释; 思路: 其实就是一个水的搜索,直接搜索不会超时,还有别跑最短路了,题目没要求跑最短路,别读错题,刚开始自己嘚嗖的跑了一边最短路 wa了 ,正好最近看了STL ...
- 内核模式下的线程同步的分析(Windows核心编程)
内核模式下的线程同步 内核模式下的线程同步是用户模式下的线程同步的扩展,因为用户模式下的线程同步有一定的局限性.但用户模式下线程同步的好处是速度快,不需要切换到内核模式(需要额外的 CPU 时间).通 ...
- Intel汇编语言程序设计学习-第二章 IA-32处理器体系结构-下
2.2 IA-32处理器体系结构 如前所述,IA-32是指始于Intel386直到当前最新的奔腾4的系列的处理器(额...这本书是什么时候写的啊,表示现在应该是I7啊),在IA-32的发展过程中,I ...
- 神经网络与机器学习 笔记—卷积神经网络(CNN)
卷积神经网络 之前的一些都是考虑多层感知器算法设计相关的问题,这次是说一个多层感知器结构布局相关的问题.来总结卷积神经网络.对于模式分类非常合适.网络的提出所隐含的思想收到了神经生物学的启发. 第一个 ...
- shell 脚本中常用的内置变量
在 Bash 解释器中,内置了许多变量,这些变量的功能是解释器自带的,我们在编写shell脚本时如果能灵活的使用它们,对脚本的编写效率以及差错大有帮助, 下面一一介绍这些变量 $FUNCNAME.$L ...
- Hive企业级性能优化
Hive作为大数据平台举足轻重的框架,以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一. 但是如果我们只局限于会使用Hive,而不考虑性能问题,就难搭建出一个完美的数仓,所以Hi ...
- 【Azure Developer】使用Microsoft Graph API 如何批量创建用户,用户属性中需要包含自定义字段(如:Store_code,Store_name等)
Microsoft Graph 是 Microsoft 365 中通往数据和智能的网关. 它提供统一的可编程模型,可用于访问 Microsoft 365.Windows 10 和企业移动性 + 安全性 ...
- python工业互联网应用实战15-前后端分离模式1
我们在13章节里通过监控界面讲了如何使用jquery的动态加载数据写法,通过简单案例来说明了如何实现动态的刷新监控界面的数据,本章我们将演示如何从Django模板加载数据逐步演化到前后端分离的异步数据 ...