机器学习的Spark与Scala开发简介

 一、机器学习常用开发软件：Spark、Scala

1. Spark简介：

MLlib包含的库文件有：

• 分类
• 降维
• 回归
• 聚类
• 推荐系统
• 自然语言处理
• 在线学习

• 统计学习方法：偏向理论性，数理统计的方法，对实时性没有特别要求；
• 机器学习：偏向工程化（包含数据预处理、特征选择、参数优化），有实时性要求，旨在构造一个整体的系统，如在线学习等；
• 概率图模型：构建一个统一的方法论，可以解决一些时序模型，概括了表示、推理、学习的流程，如贝叶斯网络等。

Spark在Standalone模式下的工作原理：

首先，介绍三种重要的角色：

• Application（发布管理任务）带有自己需要的mem和cpu资源量，会在master里排队，最后被分发到worker上执行。app的启动是去各个worker遍历，获取可用的cpu，然后去各个worker launch executor。
• Worker（执行加载任务）每台slave起一个，默认或被设置cpu和mem数，并在内存里做加减维护资源剩余量。Worker同时负责拉起本地的executor backend，即执行进程。
• Master（分配管理资源）接受Worker、app的注册，为app执行资源分配。Master和Worker本质上都是一个带Actor的进程。

其次，介绍Spark在standalone模式下工作的四个步骤：

• 第一步，（Register Worker）Worker可以认为是一台机器，先在Master注册，是一个启动集群和搜集初始资源的过程，同时给Master维持一个“心跳”；Master负责维护Worker上的资源量和Worker本身host、port等的信息。
• 第二步，（Register Application）Master接收新App的注册。App和Driver都是通过输入一个spark url提交的，最终在master内存里排队；当Master有新的App进来，或资源可用性发生变化时，会触发资源分配的逻辑。
• 第三步，（Launch Executor）Master在资源分配的逻辑里，为App分配了落在若干Worker上的Executors，然后对于每一个Executor，Master通知其Worker去启动。
• 第四步，（Launch Task）App自己来launch task。上面三步都是集群资源的准备过程，App得到了属于自己的资源，包括cpu、内存、起起来的进程及其分布。App内的TaskScheduler和SchedulerBackend是我们熟悉的与task切分、task分配、task管理相关的内容。其中scheduler负责两个重要调度：DAG调度和TASK调度。

2.  函数式编程与Scala：

（1）解释性编程语言，它是一种基于冯诺依曼式架构的语言：

• 修改变量
• 可以赋值
• 包括很多控制语句，如if-then-else、loops、break、continue、return

具体体现在：

• Mutable variables 近似 memory cells
• Variables dereferences 近似 load instructions
• Variables assignments 近似 store instructions
• Control structures 近似 jumps

存在的问题：

• 摩尔定律存在瓶颈，通过多核而不是增加时钟周期来提高性能；
• 多核带来锁的问题，多线程之间会相互影响导致程序跑死；
• 吞吐量巨大也增加了水平扩展的工作量。

（2）纯函数式编程语言：

• 没有任何可变变量
• 没有循环（for、while）
• 使用递归控制函数

函数式编程语言广义定义：关注函数本身

 二、基于Spark的机器学习应用

1. 机器学习算法分类：

• 线性分类器：逻辑回归、SVM
• 朴素贝叶斯：概率图模型
• 决策树：非概率模型

（1）线性分类器：

线性分类器有三种重要的函数：连接函数、判决函数、损失函数。

• 连接函数：y=f(x)中的wx是线性的，其中x为特征表示，y为标签表示，w为权值是需要求的参数。
• 判决函数：y可以被判决为-1,0,1，此时所对应的损失函数的值分别为1,1,0。
• 损失函数：通过损失函数最小，即梯度为0，来求取权值w（可采用凸优化来求取，但是因为没有闭式解，故采用迭代的方法求取参数值）。

三种典型的损失函数：

• 0-1损失函数：最理想的状态，但是在0处不连续，不可微分，只能采用逼近的方式来表示；
• SVM合页损失函数：利用过（0,1）这点的直线近似表示0-1损失；
• 逻辑损失函数：利用过（0,1）这点的曲线近似表示0-1损失。

（2）概率图模型：贝叶斯网络

满足贝叶斯网络需要具有的条件：每个节点的父节点已知，它与它的非子节点是相互独立的。

朴素贝叶斯网络：

（3）决策树

• 非概率模型
• 可以处理原生的类属和数值特征，不要求数据归一化和标准化
• 非常适合集成方法，如boosting、决策森林

2. 评估分类模型性能的方法：

3. 分类器优化方向：

调优的两个方向：

• 性能调优：提高分类器识别率或降低分类器错误率；
• 系统调优：提高算法运行和识别效率。

性能调优的四点方向：

• 特征值：特征不符合高斯分布（特征变换近似高斯分布，如标准化、对数变换、开根号变换）；
• 类别属性：类别属性在做距离时范数不同（统一类别表征的范数，如1of coding）；
• 参数模型：迭代步长与次数、正则化参数调整（不同迭代回归方法解法不同，出现过拟合时参数如何调整）；
• 假设检验：交叉验证（spark和scala自带，不需要重新编程）。

4. 数据降维方法：

• D维数据输入——>k维数据输入（k<<D），发现隐含结构特征，去除噪声干扰；
• 数据预处理方法，不是模型预测方法；
• 适用维度很高的数据，如图像、视频、文件、声音；
• PCA和SVD。

• 一个矩阵X一个列向量，相当于在这个列向量上的一个投影；
• 当这个投影范围越大，数据集的可分性越好，即二范数越大（方差越大）；
• w与S方向一致，且选择对角矩阵中的特征值所对应的最大特征向量。

• 奇异值与特征值对应的特征向量相同；
• V矩阵的转置就是w矩阵；
• 聚类也可以做降维（聚成k类，每个点到这k类的距离，将空间映射为k维）。