Part I:词频统计并返回topN 统计的文本数据: what do you do how do you do how do you do how are you from operator import add from pyspark import SparkContext def sort_t(): sc = SparkContext(appName="testWC") data = sc.parallelize(["what do you do", &qu
原文链接:https://cloud.tencent.com/developer/article/1096712 在大神创作的基础上,学习了一些新知识,并加以注释. TARGET:将旧金山犯罪记录(San Francisco Crime Description)分类到33个类目中 源代码及数据集:之后提交. 一.载入数据集data import time from pyspark.sql import SQLContext from pyspark import SparkContext # 利
分类(Classification) 下面的例子说明了怎样导入LIBSVM 数据文件,解析成RDD[LabeledPoint],然后使用决策树进行分类.GINI不纯度作为不纯度衡量标准并且树的最大深度设置为5.最后计算了测试错误率从而评估算法的准确性. from pyspark.mllib.regression import LabeledPoint from pyspark.mllib.tree import DecisionTree, DecisionTreeModel from pyspa