http://blog.csdn.net/pipisorry/article/details/49052255 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之社交网络之社区检测:高级技巧-线性代数方法 Communities in Social Networks:  Intuitively, "communities" are sets of individuals in a network like Fa…

http://blog.csdn.net/pipisorry/article/details/49052057 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之社交网络之社区检测:基本技巧-生成模型及其参数的梯度上升方法求解 Communities in Social Networks:  Intuitively, "communities" are sets of individuals in a netw…

http://blog.csdn.net/pipisorry/article/details/49183379 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之流算法Stream Algorithms Stream Algorithms:  "Streams" are data inputs to a system that arrive at a very high rate, typically too…

http://blog.csdn.net/pipisorry/article/details/48858661 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之 Locality-Sensitive Hashing(LSH) 局部敏感哈希 {This is the first half of discussion of a powerful technique for focusing search on things…

http://blog.csdn.net/pipisorry/article/details/49686913 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 相似项的发现:局部敏感哈希(LSH, Locality-Sensitive Hashing) {博客内容:More about Locality-Sensitive Hashing:在海量数据挖掘MMDS week2: 局部敏感哈希Locality-Sensit…

http://blog.csdn.net/pipisorry/article/details/48579435 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之链接分析:PageRank算法 链接分析与PageRank {大图分析the Analysis of Large Graphs} how the class fits together 图数据的例子 社交网络Social Networks(Facebook so…

http://blog.csdn.net/pipisorry/article/details/48894977 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之association rules关联规则与频繁项集挖掘 {Frequent Itemsets: Often called "association rules," learn a number of techniques for finding it…

http://blog.csdn.net/pipisorry/article/details/49742907 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 相似项的发现:面向高相似度的方法 {博客内容:More about Locality-Sensitive Hashing:当所能接受的相似度较低时,基于LSH的方法表现得更为有效.但当要找几乎相等的集合时,还存在一些更快的方法,并且这些方法是精准的,即它们会找到…

http://blog.csdn.net/pipisorry/article/details/49445519 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 大规模机器学习之MapReduce算法 {博客内容:MapReduce Algorithms.  how to design a good algorithm to run under MapReduce.  They also discuss the limi…

http://blog.csdn.net/pipisorry/article/details/49445465 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 大规模机器学习之决策树Decision Trees {博客内容:Decision Trees.  This is one of the oldest forms of machine-learning, but there are issues that com…

http://blog.csdn.net/pipisorry/article/details/49445387 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 大规模机器学习之支持向量机Support-Vector Machines,SVM {博客内容:the most powerful techniques available for large-scale machine learning.支持向量机主要应用于非线…

http://blog.csdn.net/pipisorry/article/details/49428053 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 计算广告Computational Advertising {博客内容:Computational Advertising.  The problem is to select ads to show with other information, typica…

http://blog.csdn.net/pipisorry/article/details/49427989 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 推荐系统Recommendation System之隐语义模型latent semantic analysis {博客内容:Clustering.  The problem is to take large numbers of points and group…

http://blog.csdn.net/pipisorry/article/details/49256457 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 推荐系统Recommendation System之隐语义模型latent semantic analysis {博客内容:推荐系统构建三大方法:基于内容的推荐content-based,协同过滤collaborative filtering,隐语义模型(LFM…

http://blog.csdn.net/pipisorry/article/details/49231919 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 推荐系统Recommendation System之降维Dimensionality Reduction {博客内容:推荐系统有一种推荐称作隐语义模型(LFM, latent factor model)推荐,这种推荐将在下一篇博客中讲到.这篇博客主要讲隐语义模型…

http://blog.csdn.net/pipisorry/article/details/49205589 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 推荐系统Recommendation System {博客内容:推荐系统构建三大方法:基于内容的推荐content-based,协同过滤collaborative filtering,隐语义模型(LFM, latent factor model)推荐.这篇博客只…

http://blog.csdn.net/pipisorry/article/details/48914067 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之关联规则Apriori算法的改进:非hash方法 - 大数据集下的频繁项集:挖掘随机采样算法.SON算法.Toivonen算法 Apriori算法的改进:大数据集下的频繁项集挖掘 1. 前面所讨论的频繁项都是在一次能处理的情况.如果数据量过大超过了主存的大小,这…

http://blog.csdn.net/pipisorry/article/details/48901217 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之关联规则Apriori算法的改进:基于hash的方法:PCY算法, Multistage算法, Multihash算法 Apriori算法的改进 {All these extensions to A-Priori have the goal of minimiz…

http://blog.csdn.net/pipisorry/article/details/48894963 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之Nearest-Neighbor Learning,KNN最近邻学习 {The module is about large scale machine learning.} Supervised Learning监督学习 Note: y有多种不同的形式,对应不同…

http://blog.csdn.net/pipisorry/article/details/48882167 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之局部敏感哈希LSH的距离度量方法 Distance Measures距离度量方法 {There are many other notions of similarity(beyond jaccard similarity) or distance and whi…

http://blog.csdn.net/pipisorry/article/details/48443533 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之MapReduce {A programming system for easily implementing parallel algorithms on commodity clusters.} Distributed File Systems分布式文件系统…

因为在我最近的科研中需要用到分布式的社区检测(也称为图聚类(graph clustering))算法,专门去查找了相关文献对其进行了学习.下面我们就以这篇论文IPDPS2018的文章[1]为例介绍并行社区检测算法. 关于基本的单机/串行社区检测算法,大家可以参考我的另一篇博客<图数据挖掘:社区检测算法(一)>(链接:https://www.cnblogs.com/orion-orion/p/15662253.html).总而言之,目前对于图的簇/社团划分,目前最广泛的测量方法是使用模块性(mo…

上一篇博客我们介绍了针对大数据量的处理,我们应该对程序做什么样的处理,但是一个程序的优化是有底线的,我们要考虑人力,物力,程序的优化是海量数据处理的一部分,这里介绍我们的重头戏,对数据库的优化! 这里我们将数据库的优化,分为三个大的方面: 一,设计之初优化 1,反范式思维 在数据库优化的方向上,没有什么范式是绝对的,我们要根据情况设计合理的表结构,一味地追求完美的三范式是一个错误且固执的想法! 举例:大家看看这两个考试记录表的设计区别: 分析: 我们看,哪个更符合三范式呢,明显是第二个,因为第一…

异常检测的目标是发现与大部分其他对象不同的对象.通常,异常对象被称作离群点(Outlier). 异常检测也称偏差检测(Deviation detection),因为异常对象的属性值明显偏离期望的或者常见的属性值. 异常检测也称为例外挖掘,因为异常在某种意义上是例外的. 应用场景: 欺诈检测 入侵检测 生态系统失调 公共卫生 医疗 异常检测方法 基于模型的技术 基于邻近度的技术 基于密度的技术 统计方法: 检测一元正态分布中的离群点,常用方法是高斯正态分布 多元正态分布的离群点,Mahalanob…

目录 简介 背景 流量识别 常用功能 具体功能 做法 特征识别 架构举例 部署方式 串接方式 并接方式 存在问题 检测引擎举例 参考文献 简介 DPI(Deep Packet Inspection)深度包检测技术是在传统IP数据包检测技术(OSI L2-L4之间包含的数据包元素的检测分析)之上增加了对应用层数据的应用协议识别,数据包内容检测与深度解码. 既可以检测2~4层,又可以检测应用层. 背景 安全问题.流量识别.大数据(海量数据挖掘),推动网络识别技术的发展 流量识别 指将网络中的数据流识…

最近做了一些和gnn相关的工作,经常听到GCN 和 embedding 相关技术,感觉很是困惑,所以写下此博客,对相关知识进行索引和记录: 参考链接: https://www.toutiao.com/a6690680620642730510/ graph embedding 技术学习 如何理解 Graph Convolutional Network(GCN): https://www.zhihu.com/question/54504471/answer/332657604 卷积神经网络的卷积核:…

社交网络需要用到igraph库,所以需要安装.可以在lfd的网站 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 上下载python_igraph,具体的python对应版本和是32位还是64位的,比如我下载了 python_igraph‑0.7.1.post6‑cp35‑none‑win_amd64.whl  利用pip 安装whl文件:pip install 文件名.whl  为了避免出错,打开cmd以后,要cd进入你存放的该whl文件的解压后的目录下在…

      顶尖数据挖掘辅助教学套件 (TipDM-T6)           产  品  说  明  书 广州泰迪智能科技有限公司 版权所有 地址: 广州市经济技术开发区科学城232号 网址: http://www.tipdm.com 邮箱: services@tipdm.com 热线: 40068-40020 企业QQ:40068-40020 邮编: 510663 电话: (020)82039399 目  录 1                     引言.................…

    顶尖大数据挖掘实战平台 (TipDM-H8)           产  品  说  明  书 广州泰迪智能科技有限公司 版权所有 地址: 广州市经济技术开发区科学城232号 网址: http://www.tipdm.com 邮箱: services@tipdm.com 热线: 40068-40020 企业QQ:40068-40020 邮编: 510663 电话: (020)82039399 目  录 1                     引言....................…

正好刚帮某电信行业完成一个数据挖掘工作,其中的RFM模型还是有一定代表性,就再把数据挖掘RFM模型的建模思路细节与大家分享一下吧!手机充值业务是一项主要电信业务形式,客户的充值行为记录正好满足RFM模型的交易数据要求. 根据美国数据库营销研究所Arthur Hughes的研究,客户数据库中有三个神奇的要素,这三个要素构成了数据分析最好的指标:最近一次消费(Recency).消费频率(Frequency).消费金额(Monetary). 我早期两篇博文已详述了RFM思想和IBM Modeler操作…