Andrew Ng 机器学习笔记 ---By Orangestar

Week_10 (大数据处理)

1. Learning With Large Datasets

机器学习很多时候都要处理非常多的数据。对算法的要求颇高。 数据就是力量!

要检验数据集越多,学习算法表现得更好。

就要画学习曲线。

如图:

下节我们要介绍两个:

第一个叫做 :随机梯度下降。

第二个叫做: 映射约减。

这两个方法都是用来处理大数据集的。

2. Stochastic Gradient Descent(随机梯度下降法)

当我们训练集非常大的时候,梯度下降算法显得计算量非常非常大。所以,这节课学习 随机梯度下降法,可以用于大数据集

在梯度下降法的时候:简单进行回顾

首先我们要知道为什么梯度下降算法在大数据集的时候这么慢。就是这个微分项搞的鬼。它每一步执行的时候,都要对所有数据来求和。(我突然联想到动态规划)

所以传统梯度算法也叫作:

批量梯度下降(batch gradient descent)

所以,这样非常的无效率。仅仅为了计算一次迭代就计算如此多的数据量。

如图:

所以,我们当然要对算法进行优化:

(随机梯度下降)

第一步是将所有数据打乱,也就是把样本重新排列。

(这就是标准的数据预处理过程,这保证了我们对训练集样本的访问是随机的顺序

然后,如图:(就是对样本进行一个遍历)

对随机梯度下降来说,我们只需要一次关注一个训练样本

在这过程中我们开始一点点把参数朝着全局最小值的方向进行修改

下面是详细介绍这个算法的步骤:

(一般来说,参数是朝着全局最小值的方向被更新的,但也不一定,所以这个算法在梯度下降的时候看起来像是以迂回的路径朝着全局最小值逼近。)

所以,这个和传统的批量梯度下降的收敛形式是不一样的

但是这个没有什么问题,它可以足够接近全局最小值。这应用已经足够了。

所以,这个外边的循环一般只进行1到10次就已经足够了。

3. Mini-Batch Gradient Descent(小批量梯度下降)

这节我们讨论小批量梯度下降,这个算法有时候甚至比随机梯度下降还要快一点。

首先看看我们到目前为止所学过的算法的区别

我们所学习的小批量梯度下降 每次迭代我们只用一个小样本。这个小样本所包含的样本数为 b 。b是一个叫做“小批量规模”的参数。一般取5到200个。

然后我们就用这b个样本来做一个梯度下降的一次迭代。

下面来详细看看这个算法的实现步骤:

所以,我们不用扫描所有样本,只需要用b个小样本就可以改进参数,朝着最优前进。


和随机梯度下降的区别?

---向量化!!

具体来说,小批量梯度下降可能比随机梯度下降好,仅当你有好的向量化实现的时候,在那种情况下,10个样本求和可以用一种更向量化的方法实现,这允许你部分并行计算10个样本的和。

换句话来说,使用正确的向量化方法计算剩下的项,你有时可以使用好的数值代数库来部分地并行计算b个样本。这样就更简便了。

但是缺点是:小批量梯度下降多了一个参数b。这意味着你需要花一些时间来调试这个参数b。(一般选择10)

4. Stochastic Gradient Descent Convergence

这节介绍:

  1. 如何确保在使用随机梯度下降算法的时候,判断调试过程已经完成,并且能正常收敛。
  2. 如何调整随机梯度下降中的学习速率\(\alpha\)

对于随机梯度下降算法,为了检查算法是否收敛,我们可以: 沿用之前定义的cost函数但是,在随机梯度下降法对训练集进行扫描的时候,我们使用某个样本来更新\(\theta\)之前,我们先计算出,这个假设对这个训练样本的表现。

然后再让它在这个训练样本上预测。

最后,为了检查随机梯度下降的收敛性,我们要做的是:

每1000次迭代,我们可以画出前一步的cost函数,并对算法处理的后1000个样本的cost值求平均值。

这样做可以很好的预测数你的算法在最后1000个样本个上的表现。

然后,通过观察这些画出来的图,我们就能检查出随机梯度下降是否在进行收敛。

如下图:

实际操作的例子::

如果噪声过大,可以增大检查的样本数量。

如果在发散,可以减小学习率



还有一点,我们在学习的时候,一般不会真正的收敛到 全局最小值,而是在它的附近。

但是,如果我们想要得到全局最小值还是可以的。

一种典型的方法就是设置\(\alpha\)的值, 让学习率随时间的变化逐渐减小。

比如:一种典型的方法来设置α的值 。是让α等于某个常数1 除以 迭代次数加某个常数2 。迭代次数指的是你运行随机梯度下降的迭代次数

这样我们观察到的图像可能就不是在全局最小值周围乱晃,而是要收敛到全局最小值的时候,曲线变缓,慢慢靠近全局最小值。

但是,这两个常熟的确定需要更多的工作量,而且我们一般情况下只要能得到很接近全局最小值的参数就已经很满意了。

总结: 我们可以应用这种方法来保证随机梯度下降法正在正常运转和收敛,也可以用它来调整学习速率的大小。

5. Online Learning

在线学习机制

想法:如果你有一个由连续的用户流引发的连续的数据流 用户流进入你的网站 。你能做的是使用一个在线学习机制 从数据流中学习 用户的偏好 。然后使用这些信息 来优化一些 关于网站的决策。

(实时学习算法主张数据算一个丢一个!)

先看一个购物调整价格的例子:

我们先来用逻辑回归

这个数据集并不是固定的了。

所以我们要在线学习算法

差不多就是上面这张图。每当有数据流进来的时候都更新参数

另一个例子:

更新搜索条目

(学习预测点击率CTR(click through rate))

(产品搜索问题)

6. Map Reduce and Data Parallelism

以上讲的 算法都只能在一台计算机上运行。但是,有些机器学习问题,太大以至于不可能只在一台计算机上运行。

所以,我们要介绍一种新的进行大规模机器学习的;另一种方法。称为 映射约减(map reduce)的算法

(可能比梯度下降都还更重要)

基本操作过程就是把数据分开到几个计算机中去处理

图解:

当然,应用映射约减之前,我们要明白我们的机器学习算法是否可以表示为训练样本个的某种求和。

应用实例:

当然,即使我们只有一台计算机也可以用这个映射约减

因为现在的计算机都是多核的!

就相当于多台计算机!

如图:

week_10的更多相关文章

  1. Week_10 C

    拓扑排序 Week_10    C 题意:输入n行数据a,b  ,表示a的钱数大于b的钱数,最低的人分的的钱数为888,问最少需要多少钱可以分给员工 思路:标准的拓扑排序,不过这题需要逆向拓扑 注意点 ...

随机推荐

  1. SECS半导体设备通讯-3 SECS-II通信标准

    一 SECS-II 概述 SECS-II 标准定义了使用如SECS-I.HSMS等传输协议在设备和主机之间交换的消息的形式和含义. 定义了以消息的形式在设备和主机之间传递信息,消息按其行为分类,称为S ...

  2. 【疫情动态条形图】用Python开发全球疫情排名动态条形图bar_chart_race

    一.开发背景 你好,我是 @马哥python说 ,这是我用Python开发的全球疫情动态条形图,演示效果: https://www.zhihu.com/zvideo/15603276220259696 ...

  3. 洛谷P1216 [USACO1.5][IOI1994]数字三角形 Number Triangles (DP入门)

    考虑逆推就行了. 1 #include<bits/stdc++.h> 2 using namespace std; 3 int n; 4 int a[1010][1010]; 5 int ...

  4. 项目管理构建工具——Maven(高阶篇)

    项目管理构建工具--Maven(高阶篇) 我们在之前的文章中已经基本了解了Maven,但也仅仅只止步于了解 Maven作为我们项目管理构建的常用工具,具备许多功能,在这篇文章中我们来仔细介绍 分模块开 ...

  5. 01-MySQL8主从详解

    主从原理 master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中:slave服务器会在一定时间间隔内对master二进制日志进行探测其是 ...

  6. 基于win11安装Java11环境

    下载JDK解压版本 下载后解压,并放到一个没有中文路径的目录,如图所示: 配置Java环境变量 以Windows11系统为例,打开设置,搜索"环境",点击"编辑系统环境变 ...

  7. 微信抢红包小技巧(python模拟100万次)

    之前,在网上看到一篇文章,说多人抢红包时,微信红包金额的分配规则是0.01元到当前剩余金额平均数的2倍(最后一个人金额为当前剩下的所有金额),所以写了一个python程序,模拟量一百万次,分析了一下抢 ...

  8. RabbitMQ安装说明文档(超详细版本)

    RabbitMQ安装说明文档(超详细版本) 1. 安装依赖环境 在线安装依赖环境: yum install build-essential openssl openssl-devel unixODBC ...

  9. 十六、资源控制器之DaemonSet

    资源控制器之DaemonSet DaemonSet 确保全部(或者一些) Node上运行一个 Pod 的副本,当有 Node 加入集群时,也会为他们新增一个 Pod,当有 Node 从集群移除时,这些 ...

  10. <一>从指令角度了解函数堆栈调用过程

    代码 点击查看代码 #include <iostream> using namespace std; int sum(int a,int b){ int temp=0; temp= a + ...