Massive Data Mining学习记录

第一周：

学习PageRank，

知识点：每个节点的权值由其他节点的投票决定，所有节点的权值和为1

当节点很多时候必须转换成矩阵运算来计算节点的最终值，由马尔可夫链可以证明，这个值可以迭代得到

问题：可能出现无出度节点，导致总体失衡

解决办法：每个节点的入读权值矩阵M' = 0.8*M + 0.2*1/n，以0.2的概率跳出当前节点

第二周：

minhashing h(i) 随机排列后，一列数据的第一个不为1的下标

用普通hash替代每个minhashing（hash出每行每列，在移动行中，确定这一列的某hash的第一个下标）

LSH：使用hash应用到col，找出相似对

方法：把一列signature分成很多band，对每个band的r行进行hash，从而分到bucket。

这样有相似signature的列更容易分到同一个bucket中。

使用threshold t

Frequent Set:

从frequent items，筛选frequent pairs，再向其他扩展。

PCY：在第一次frequent items的时候，存储hash pair的count，满足count的bit个数为1否则为0

Simple: 随机取出Sample组判断frequent set

SON：顺序读取一部分，进行Simple，不会出现false negative

Toivonen ：利用negative border防止丢失frequent set，如果有negative border被发现为frequent set，需要重新计算

negative border：所有直接子集都frequent

Week 2C Q1:参考这里，Total Memory Needed for the Triples = 3X = 3M(1+P/S) = T = (31/32)S，其中S=S/4（转换到integer）

第三周：

图，

使用Spectral Clustering on the Laplacian matrix来进行cluster，重要的点是找到second eigenvector（first is always 0，second is the eigenvalue second min）

stream：

DGIM(计算最近有多少个1)：使用多个2^n组合而非bits来计数，在2^x有3个时，合并成2^(x+1)，最大的2^n利用估算来统计

Sampling（取样本）：将key hash到0-B-1数组，取h(key) <= t, t不断减小以丢弃存不下的Sample

Bloom Filter（过滤已经见过的）：使用hash将key hash到n bucket也就是n bits，不会有false negative，但是又false positive

Flagolet-Martin lgorithm（计算不同值出现的次数）：利用多个hash统计，得到每个hash的尾部0个数R，估算单个hash结果为2^R.将hash结果按照大小排列后分组计算平均值，对所有组的平均值取中位数。

week3 A q4

(defn ha [x] (rem (+ 7 (* 3 x)) 11))
(defn ham [coll] (map #(Integer/toBinaryString (ha %)) coll))

AMS(计算surprise number):随机取x个timestam，计算每个t位置元素到目前的出现次数m，X=n(2m-1),最终结果为所有t的X的平均数

第四周：Recommendation Systems

ContentBased：需要得到Item Profiles，可以由用户评分等得到，也可以由Content中抽取Feature来组成

Colaborating filter：对于用户根据item选出相关用户，推荐相关产品。或者对于item根据用户选出相关item，推荐给用户。

item要比用户关联度更高，因为item更单纯。

降维的方法，可以利用基向量表示高纬度数据，忽略不重要的基对应的数据

SVD：将矩阵解构（decomp-svd）成S U V三个矩阵，分别代表一些概念，可以相乘得到原矩阵

第五周：

cluster的方法：

Hierarchical Clustering，最好O(n^2*logn)

k-means:k为预选的中心点，多次循环调整中心点直到不再变化。可以用sample的HC选出来中心点个数。

BFR：要求正态分布，第一次获取：Discard Set，Compressed Set， Retained Set。第二次对RS进行HC，再将CS

Cure：第一次从Sample中选出相对最远的几个点做代表。第二次，根据代表来计算分布情况。

第六周：

SVD：找出最大margin的w向量（N维度需要N+1个点来support 这个分割线，这N+1个点叫做support vector），如果需要容忍错误，需要使用迭代的方式找到最优解

SVD的理解：从高维度里提取概念，通过概念将高维度合并到底维度。M= U sigma V^T

U 代表每个用户对应的合并后的分值

sigma 提取出来的概念

V^T 代表每一项与概念的相关程度

Decision Tree：生成各个节点的决策树，可以使用MapReduce

MapReduce可以解决矩阵相乘的问题