** 本文内容来自于吴恩达深度学习公开课 1.概述 加权移动平均法,是对观察值分别给予不同的权数,按不同权数求得移动平均值,并以最后的移动平均值为基础,确定预测值的方法.采用加权移动平均法,是因为观察期的近期观察值对预测值有较大影响,它更能反映近期变化的趋势. 指数移动加权平均法,是指各数值的加权系数随时间呈指数式递减,越靠近当前时刻的数值加权系数就越大. 指数移动加权平均较传统的平均法来说,一是不需要保存过去所有的数值:二是计算量显著减小. 2.算法理解 引入一个例子,例子为美国一年内每天的温

序列内置一些函数,用于循环对序列的元素执行操作. 一,应用和转换函数 应用apply 对序列的各个元素应用函数: Series.apply(self, func, convert_dtype=True, args=(), **kwds) 参数注释: func:应用的函数,可以是自定义的函数,或NumPy函数 convert_dtype:默认值是True,尝试把func应用的结果转换为更好的数据类型,如果设置为False,把结果转换为dtype=object. args:元组,在序列值之后,传递给

首先感谢吴恩达老师的免费公开课,以下图片均来自于Andrew Ng的公开课 指数加权平均法 在统计学中被称为指数加权移动平均法,来看下面一个例子: 这是伦敦在一些天数中的气温分布图 Vt = βVt-1 + (1 - β)θt  β指的是加权系数 0<β<1 θt 指的是当前时刻的温度 当β=0.9的时候 1/1-β = 10 所以看到上图的红线其实就是考虑了10天之内的平均气温,其拟合度较好 当β=0.98的时候 1/1-β = 50 所以上图中的绿线是考虑了50天之内的平均气温,于是这种平

Optimization Algorithms优化算法 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.3 指数加权平均 举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average). 大体公式就是前一日的V值加上当日温度的0.1倍,如果用红线表示这个计算数值的话就可以得到每日温度的指数加权平均值. \[V_{t}=\beta V_{t-1}+(1-\beta)\theta_{t}\] 对于\(\theta\)的理解,你可以将其认为该数值表示的是\

1.mini-batch梯度下降 在前面学习向量化时,知道了可以将训练样本横向堆叠,形成一个输入矩阵和对应的输出矩阵: 当数据量不是太大时,这样做当然会充分利用向量化的优点,一次训练中就可以将所有训练样本涵盖,速度也会较快.但当数据量急剧增大,达到百万甚至更大的数量级时,组成的矩阵将极其庞大,直接对这么大的的数据作梯度下降,可想而知速度是快不起来的.故这里将训练样本分割成较小的训练子集,子集就叫mini-batch.例如:训练样本数量m=500万,设置mini-batch=1000,则可以将训练

1.mini-batch size 表示每次都只筛选一部分作为训练的样本,进行训练,遍历一次样本的次数为(样本数/单次样本数目) 当mini-batch size 的数量通常介于1,m 之间    当为1时,称为随机梯度下降 一般我们选择64,128, 256等样本数目 import numpy as np import math def random_mini_batch(X, Y, mini_batch = 64, seed=0): np.random.seed(seed) m = X.sh

TCP是因特网传输层的面向连接的可靠的运输协议.   TCP被称为是面向连接的:通信双方在发送数据之前必须建立连接,连接状态只在连接的两端中维护,在沿途节点中并不维护状态. TCP连接包括:两台主机上的缓存.连接状态变量.socket等. TCP连接提供的是全双工服务(同一连接中能够传输双向数据流)   TCP报文段结构: 16比特的源端口号和16比特的目的端口号 被用于多路复用/分解来自或送到上层应用的数据 32 比特的序号字段和32 比特的确认号字段 被TCP 发送方和接收方用来实现可靠数据

通常我们需要监测ASP.NET MVC 或 Web API 的应用程序的性能时,通常采用的是自定义性能计数器,性能计数器会引发无休止的运维问题(损坏的计数器.权限问题等).这篇文章向你介绍一个新的替代性能计数器的工具Metrics.NET,因为是它是内部的,所以我们能够向系统中添加更多更有意义的度量标准. Metrics.NET(https://github.com/etishor/Metrics.NET)是一个给CLR 提供度量工具的包,它是移植自Java的metrics,支持的平台 .NET

<本文摘自Linux的高级路由和流量控制HOWTO中文版 第9章节>网人郭工进行再次编译: 利用队列,我们可以控制数据发送的方式.记住我们只能对发送数据进行控制(或称为整形).其实,我们无法直接控制别人向我们发送什么数据.然而,Internet主要依靠TCP/IP,它的一些特性很有用.因为TCP/IP没办法知道两个主机之间的网络容量,所以它会试图越来越快地发送数据(所谓的“慢起技术”) ,当因为网络容量不够而开始丢失数据时,再放慢速度.实际情况要比这种方法更聪明,我们以后再讨论. Linux

7.时间序列绘图 pandas时间序列的绘图功能在日期格式化方面比matplotlib原生的要好. #-*- coding:utf-8 -*- import numpy as np import pandas as pd import matplotlib.pyplot as plt import datetime as dt from pandas import Series,DataFrame from datetime import datetime from dateutil.parse

在着手学习TC采用如下单位来描述带宽: mbps = 1024 kbps = 1024 * 1024 bps => byte/s mbit = 1024 kbit => kilo bit/s mb = 1024 kb = 1024 * 1024 b => byte mbit = 1024 kbit => kilo bit 内定:数值以bps和b方式储存.但当设置       1Mbit = 1024 Kbit = 1024 * 1024 bps => byte/s 提醒:bi

Metrics核心 翻译自Metrics官方文档: http://metrics.codahale.com/manual/core/ JAVA Metrics是一个用于度量的一个JAVA的类库,使用请參见  < Java Metric使用介绍1 > http://blog.csdn.net/scutshuxue/article/details/8350135 或者官方的高速入门:http://metrics.codahale.com/getting-started/ 在Metrics中最重要的

简单双均线策略(Simple Moving Average) 策略介绍简单双均线策略,通过一短一长(一快一慢)两个回看时间窗口收盘价的简单移动平均绘制两条均线,利用均线的交叉来跟踪价格的趋势.这里说的简单是指在求平均值的时候采用的是算术平均数(就是求和再除以总数),有些更为复杂的求平均值得方法,如加权移动平均,指数加权移动平均等等.我们这个策略只使用最基本的算术平均.移动平均线是股票趋势策略中最常见技术手段.计算方法(以日频率举例)N日移动平均(MA)的计算:MA(N) = 最近N天的收盘价之和

1. Mini-batch梯度下降法 介绍 假设我们的数据量非常多,达到了500万以上,那么此时如果按照传统的梯度下降算法,那么训练模型所花费的时间将非常巨大,所以我们对数据做如下处理: 如图所示,我们以1000为单位,将数据进行划分,令\(x^{\{1\}}=\{x^{(1)},x^{(2)}--x^{(1000)}\}\), 一般地用\(x^{\{t\}},y^{\{t\}}\)来表示划分后的mini-batch. 注意区分该系列教学视频的符号标记: 小括号() 表示具体的某一个元素,指一个

这一周的主题是优化算法. 1.  Mini-batch: 上一门课讨论的向量化的目的是去掉for循环加速优化计算,X = [x(1) x(2) x(3) ... x(m)],X的每一个列向量x(i)是一个样本,m是样本个数.但当样本很多时(比如m=500万),向量化依然不能解决问题.所以提出了mini-batch的概念(Batch是指对整个样本都操作,mini-batch指只对所有样本的子集进行操作).把若干样本合并成一个mini-batch,比如这里选择1000,X{1} = [x(1) x(

Batch Normalization Batch归一化 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.4正则化网络的激活函数 Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定.超参数的范围会更庞大,工作效果也更好.也会使你更容易的训练甚至是深层网络. 对于logistic回归来说 正则化原理 \[u=\frac{1}{m}\sum x^{i}(求出平均值u)\]\[x=x-u\] \[\sigma^{2}=\frac{1}{m}\sum(x^{i}

在时间序列问题上,机器学习被广泛应用于分类和预测问题.当有预测模型来预测未知变量时,在时间充当独立变量和目标因变量的情况下,时间序列预测就出现了. 预测值可以是潜在雇员的工资或银行账户持有人的信用评分.任何正式引入统计数据的数据科学都会遇到置信区间,这是某个模型确定性的衡量标准. 因此,预测一段时间内某些数据的价值需要特定的技术,并且需要多年的发展. 由于每种都有其特殊用途,必须注意为特定应用选择正确的技术.预测人员在技术选择中发挥作用,他们越了解预测可能性的范围,公司的预测工作就越有可能取得成

优化算法 1 GD/SGD/mini-batch GD GD:Gradient Descent,就是传统意义上的梯度下降,也叫batch GD. SGD:随机梯度下降.一次只随机选择一个样本进行训练和梯度更新. mini-batch GD:小批量梯度下降.GD训练的每次迭代一定是向着最优方向前进,但SGD和mini-batch GD不一定,可能会"震荡".把所有样本一次放进网络,占用太多内存,甚至内存容纳不下如此大的数据量,因此可以分批次训练.可见,SGD是mini-batch GD的

0 - 引入 简单的梯度下降等优化算法存在一个问题:目标函数自变量的每一个元素在相同时间步都使用同一个学习率来迭代,如果存在如下图的情况(不同自变量的梯度值有较大差别时候),存在如下问题: 选择较小的学习率会使得梯度较大的自变量迭代过慢 选择较大的学习率会使得梯度较小的自变量迭代发散 因此,自然而然想到,要解决这一问题,不同自变量应该根据梯度的不同有不同的学习率.本篇介绍的几种优化算法都是基于这个思想的. 1 - AdaGrad算法 使用一个小批量随机梯度$g_t$按元素平方的累加变量$s_t$

由[RFC 768]定义的UDP只是做了运输协议能够做的最少工作.除了复用/分解功能极少量的差错检测外,它几乎没有对IP增加别的东西.如果应用程序开发人员选择UDP而不是TCP,则该应用程序差不多就是直接与IP打交道.UDP从应用程序进程得到数据,附加上用于多路复用/分解服务的源和目的端口号字段,以及两个其他小字段,然后形成的报文段交给网络层.网络层将运输层报文段封装到一个IP数据报中,然后尽力而为地尝试将此报文交付给接收主机.如果该报文段到达接收主机,UDP使用目的端口号将报文段中的数据交付给