7. 基于MLlib的机器学习

*以下内容由《Spark快速大数据分析》整理所得。

读书笔记的第七部分是讲的是如何使用Spark中提供机器学习函数的MLlib库，在集群中并行运行机器学习算法。

MLlib是Spark中提供机器学习函数的，MLlib就是RDD上一系列可供调用的函数的集合。需要注意的是：MLlib 中只包含能够在集群上运行良好的并行算法，不支持不能并行执行的算法。

一、操作向量

二、特征提取

三、特征标准化

四、分类

五、回归

六、聚类

七、降维

---

一、操作向量

MLlib 中有个最常用的数据类型Vector类：稠密向量与稀疏向量。

例子：用 Python 创建向量

from numpy import array
from pyspark.mllib.linalg import Vectors 
 
# 创建稠密向量<1.0, 2.0, 3.0>
# 方法1：NumPy数组可以直接传给MLlib
denseVec1 = array([1.0, 2.0, 3.0])
# 方法2：或者使用Vectors类来创建
denseVec2 = Vectors.dense([1.0, 2.0, 3.0]) 
 
# 创建稀疏向量<1.0, 0.0, 2.0, 0.0>；该方法只接收
# 向量的维度（4）以及非零位的位置和对应的值
# 这些数据可以用一个dictionary来传递，或使用两个分别代表位置和值的list
sparseVec1 = Vectors.sparse(4, {0: 1.0, 2: 2.0})
sparseVec2 = Vectors.sparse(4, [0, 2], [1.0, 2.0])

---

二、特征提取

MLlib 有两个算法可以用来计算 TF-IDF：HashingTF和IDF，都在 mllib.feature 包内。 HashingTF从一个文档中计算出给定大小的词频向量。
例子：在 Python 中使用 TF-IDF

from pyspark.mllib.feature import HashingTF, IDF 
 
# 将若干文本文件读取为TF向量
rdd = sc.wholeTextFiles("data").map(lambda (name, text): text.split())
tf = HashingTF()
tfVectors = tf.transform(rdd).cache() 
 
# 计算IDF，然后计算TF-IDF向量 idf = IDF()
idfModel = idf.fit(tfVectors)
tfIdfVectors = idfModel.transform(tfVectors)

还有其它方法： Word2Vec.fit_transform(rdd)

---

三、特征标准化

使用MLlib中的StandardScaler类来进行这样的缩放，同时控制均值和标准差（例如所有的特征平均值为0，标准差为1）。
例子：在Python中缩放向量

from pyspark.mllib.feature import StandardScaler 
 
vectors = [Vectors.dense([-2.0, 5.0, 1.0]), Vectors.dense([2.0, 0.0, 1.0])]
dataset = sc.parallelize(vectors)
scaler = StandardScaler(withMean=True, withStd=True)
model = scaler.fit(dataset)
result = model.transform(dataset)

---

四、分类

例子：Python 版垃圾邮件分类器

from pyspark.mllib.regression import LabeledPoint # 方便准备带标签的数据点
from pyspark.mllib.feature import HashingTF # 词频特征的提取
from pyspark.mllib.classification import LogisticRegressionWithSGD # SGD 
 
spam = sc.textFile("spam.txt") normal = sc.textFile("normal.txt") 
 
# 创建一个HashingTF实例来把邮件文本映射为包含10000个特征的向量
tf = HashingTF(numFeatures = 10000)
# 各邮件都被切分为单词，每个单词被映射为一个特征
spamFeatures = spam.map(lambda email: tf.transform(email.split(" ")))
normalFeatures = normal.map(lambda email: tf.transform(email.split(" "))) 
 
# 创建LabeledPoint数据集分别存放阳性（垃圾邮件）和阴性（正常邮件）的例子
positiveExamples = spamFeatures.map(lambda features: LabeledPoint(1, features))
negativeExamples = normalFeatures.map(lambda features: LabeledPoint(0, features))
trainingData = positiveExamples.union(negativeExamples) trainingData.cache() # 因为逻辑回归是迭代算法，所以缓存训练数据RDD 
 
# 使用SGD算法运行逻辑回归
model = LogisticRegressionWithSGD.train(trainingData) 
 
# 以阳性（垃圾邮件）和阴性（正常邮件）的例子分别进行测试。首先使用
# 一样的HashingTF特征来得到特征向量，然后对该向量应用得到的模型
posTest = tf.transform("O M G GET cheap stuff by sending money to ...".split(" "))
negTest = tf.transform("Hi Dad, I started studying Spark the other ...".split(" "))
print "Prediction for positive test example: %g" % model.predict(posTest)
print "Prediction for negative test example: %g" % model.predict(negTest)

---

五、回归

例子：Python 中的线性回归

from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.regression import LinearRegressionWithSGD 
 
points = # (创建LabeledPoint组成的RDD)
model = LinearRegressionWithSGD.train(points, iterations=200, intercept=True)
print "weights: %s, intercept: %s" % (model.weights, model.intercept)

---

六、聚类

当你要调用K-means算法时，你需要创建 mllib.clustering.KMeans 对象（在Java/Scala中）或者调用 KMeans.train （在Python中）。它接收一个Vector组成的RDD作为参数。K-means返回一个KMeansModel对象，该对象允许你访问其clusterCenters属性（聚类中心，是一个向量的数组）或者调用 predict() 来对一个新的向量返回它所属的聚类。

---

七、降维

PCA目前只在Java 和Scala（MLlib 1.2）中可用。要调用PCA，你首先要使用mllib. linalg.distributed.RowMatrix类来表示你的矩阵，然后存储一个由Vector 组成的RDD每行一个。
例子：Scala 中的 PCA

import org.apache.spark.mllib.linalg.Matrix
import org.apache.spark.mllib.linalg.distributed.RowMatrix
 
val points: RDD[Vector] = // ...
val mat: RowMatrix = new RowMatrix(points)
val pc: Matrix = mat.computePrincipalComponents(2)
 
// 将点投影到低维空间中
val projected = mat.multiply(pc).rows
 
// 在投影出的二维数据上训练k-means模型
val model = KMeans.train(projected, 10)