【掌握Spark机器学习库-06-基础统计部分】的更多相关文章

掌握Spark机器学习库-06-基础统计部分

说明 本章主要讲解基础统计部分,包括基本统计.假设检验.相关系数等 数据集 数据集有两个文件,分别是: beijing.txt 北京历年降水量,不带年份 beijing2.txt 北京历年降水量,带年份 源代码 源代码比较少,故在此给出: 基础统计 val txt = sc.textFile("beijing.txt") val data = txt.flatMap(_.split(",")).map(value => Vectors.dense(value.…

掌握Spark机器学习库（课程目录）

第1章 初识机器学习 在本章中将带领大家概要了解什么是机器学习.机器学习在当前有哪些典型应用.机器学习的核心思想.常用的框架有哪些,该如何进行选型等相关问题. 1-1 导学 1-2 机器学习概述 1-3 机器学习核心思想 1-4 机器学习的框架与选型.. 第2章 初识MLlib 本章中,将介绍Spark的机器学习库,对比Spark当前两种机器学习库(MLLib/ML)的区别,同时介绍Spark机器学习库的应用场景以及行业应用优势. 2-1 MLlib概述 2-2 MLlib的数据结构 2-3 M…

Spark机器学习库（MLlib）官方指南手册中文版

中文https://blog.csdn.net/liulingyuan6/article/details/53582300 https://yq.aliyun.com/articles/608083 英文http://spark.apache.org/docs/latest/mllib-linear-methods.html#classification Spark入门实战系列--8.Spark MLlib(上)--机器学习及SparkMLlib简介 scikit-learn 中文 http:/…

掌握Spark机器学习库-07.6-线性回归实现房价预测

数据集 house.csv 数据概览 代码 package org.apache.spark.examples.examplesforml import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.ml.regression.LinearRegression import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkCon…

掌握Spark机器学习库-07-回归算法原理

1)机器学习模型理解 统计学习,神经网络 2)预测结果的衡量 代价函数(cost function).损失函数(loss function) 3)线性回归是监督学习…

掌握Spark机器学习库-01

第1章 初识机器学习 在本章中将带领大家概要了解什么是机器学习.机器学习在当前有哪些典型应用.机器学习的核心思想.常用的框架有哪些,该如何进行选型等相关问题. 1-1 导学 1-2 机器学习概述 1-3 机器学习核心思想 1-4 机器学习的框架与选型.. 第一章内容笔记 机器学习 1)发展史 2)功能:分类.聚类.回归 3)核心思想:统计学习.BP神经网络.深度学习 4)种类:监督.无监督.强化学习 5)机器学习相关的数学概念: 6)编程语言:Python.c++.Scala 7)常用框架:…

掌握Spark机器学习库-09.6-LDA算法

数据集 iris.data 数据集概览 代码 package org.apache.spark.examples.examplesforml import org.apache.spark.ml.clustering.{KMeans, LDA} import org.apache.spark.SparkConf import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.sql.SparkSession i…

掌握Spark机器学习库-09.3-kmeans算法实现分类

 数据集 iris.data 数据集概览 代码 package org.apache.spark.examples.hust.hml.examplesforml import org.apache.spark.ml.clustering.{KMeans, LDA} import org.apache.spark.SparkConf import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.sql.Spar…

掌握Spark机器学习库-08.7-决策树算法实现分类

数据集 iris.data 数据集概览 代码 package org.apache.spark.examples.examplesforml import org.apache.spark.SparkConf import org.apache.spark.ml.classification.{DecisionTreeClassifier, NaiveBayes} import org.apache.spark.ml.evaluation.MulticlassClassificationEval…

掌握Spark机器学习库-08.2-朴素贝叶斯算法

数据集 iris.data 数据集概览 代码 import org.apache.spark.SparkConf import org.apache.spark.ml.classification.{DecisionTreeClassifier, NaiveBayes} import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator import org.apache.spark.ml.feature.VectorA…