** 本文内容来自于吴恩达深度学习公开课 1.概述 加权移动平均法,是对观察值分别给予不同的权数,按不同权数求得移动平均值,并以最后的移动平均值为基础,确定预测值的方法.采用加权移动平均法,是因为观察期的近期观察值对预测值有较大影响,它更能反映近期变化的趋势. 指数移动加权平均法,是指各数值的加权系数随时间呈指数式递减,越靠近当前时刻的数值加权系数就越大. 指数移动加权平均较传统的平均法来说,一是不需要保存过去所有的数值:二是计算量显著减小. 2.算法理解 引入一个例子,例子为美国一年内每天的温

序列内置一些函数,用于循环对序列的元素执行操作. 一,应用和转换函数 应用apply 对序列的各个元素应用函数: Series.apply(self, func, convert_dtype=True, args=(), **kwds) 参数注释: func:应用的函数,可以是自定义的函数,或NumPy函数 convert_dtype:默认值是True,尝试把func应用的结果转换为更好的数据类型,如果设置为False,把结果转换为dtype=object. args:元组,在序列值之后,传递给

首先感谢吴恩达老师的免费公开课,以下图片均来自于Andrew Ng的公开课 指数加权平均法 在统计学中被称为指数加权移动平均法,来看下面一个例子: 这是伦敦在一些天数中的气温分布图 Vt = βVt-1 + (1 - β)θt  β指的是加权系数 0<β<1 θt 指的是当前时刻的温度 当β=0.9的时候 1/1-β = 10 所以看到上图的红线其实就是考虑了10天之内的平均气温,其拟合度较好 当β=0.98的时候 1/1-β = 50 所以上图中的绿线是考虑了50天之内的平均气温,于是这种平

英文参考:http://www.incrediblecharts.com/indicators/exponential_moving_average.php Exponential moving averages are recommended as the most reliable of the basic moving average types. They provide an element of weighting, with each preceding day given pro

第二周:优化算法(Optimization algorithms) Mini-batch 梯度下降(Mini-batch gradient descent) 本周将学习优化算法,这能让你的神经网络运行得更快.机器学习的应用是一个高度依赖经验的过程,伴随着大量迭代的过程,你需要训练诸多模型,才能找到合适的那一个,所以,优化算法能够帮助你快速训练模型. 我们希望可以利用一个巨大的数据集来训练神经网络,而深度学习没有在大数据领域发挥最大的效果其中一个难点在于,在巨大的数据集基础上进行训练速度很慢.因此

从上一篇示例中我们可以看到在TCP中有一个重要的过程就是决定何时进行超时重传,也就是RTO的计算更新.由于网络状况可能会受到路由变化.网络负载等因素的影响,因此RTO也必须跟随网络状况动态更新.如果TCP过早重传,则可能会向网络中注入很多重复报文,如果过晚重传,则在丢包时候则会影响滑窗前行可能会降低网络利用率.因为TCP在接收到数据后会发送累计的ACK number,因此TCP发送某个系列号的报文后,在接收到覆盖此系列号的ACK报文的时候,测量发送和接收之间的时间,这个测量就叫做RTT采样(RT

7.时间序列绘图 pandas时间序列的绘图功能在日期格式化方面比matplotlib原生的要好. #-*- coding:utf-8 -*- import numpy as np import pandas as pd import matplotlib.pyplot as plt import datetime as dt from pandas import Series,DataFrame from datetime import datetime from dateutil.parse

简单双均线策略(Simple Moving Average) 策略介绍简单双均线策略,通过一短一长(一快一慢)两个回看时间窗口收盘价的简单移动平均绘制两条均线,利用均线的交叉来跟踪价格的趋势.这里说的简单是指在求平均值的时候采用的是算术平均数(就是求和再除以总数),有些更为复杂的求平均值得方法,如加权移动平均,指数加权移动平均等等.我们这个策略只使用最基本的算术平均.移动平均线是股票趋势策略中最常见技术手段.计算方法(以日频率举例)N日移动平均(MA)的计算:MA(N) = 最近N天的收盘价之和

1. Mini-batch梯度下降法 介绍 假设我们的数据量非常多,达到了500万以上,那么此时如果按照传统的梯度下降算法,那么训练模型所花费的时间将非常巨大,所以我们对数据做如下处理: 如图所示,我们以1000为单位,将数据进行划分,令\(x^{\{1\}}=\{x^{(1)},x^{(2)}--x^{(1000)}\}\), 一般地用\(x^{\{t\}},y^{\{t\}}\)来表示划分后的mini-batch. 注意区分该系列教学视频的符号标记: 小括号() 表示具体的某一个元素,指一个

这一周的主题是优化算法. 1.  Mini-batch: 上一门课讨论的向量化的目的是去掉for循环加速优化计算,X = [x(1) x(2) x(3) ... x(m)],X的每一个列向量x(i)是一个样本,m是样本个数.但当样本很多时(比如m=500万),向量化依然不能解决问题.所以提出了mini-batch的概念(Batch是指对整个样本都操作,mini-batch指只对所有样本的子集进行操作).把若干样本合并成一个mini-batch,比如这里选择1000,X{1} = [x(1) x(

由[RFC 768]定义的UDP只是做了运输协议能够做的最少工作.除了复用/分解功能极少量的差错检测外,它几乎没有对IP增加别的东西.如果应用程序开发人员选择UDP而不是TCP,则该应用程序差不多就是直接与IP打交道.UDP从应用程序进程得到数据,附加上用于多路复用/分解服务的源和目的端口号字段,以及两个其他小字段,然后形成的报文段交给网络层.网络层将运输层报文段封装到一个IP数据报中,然后尽力而为地尝试将此报文交付给接收主机.如果该报文段到达接收主机,UDP使用目的端口号将报文段中的数据交付给

六.移动窗口函数 移动窗口和指数加权函数类别如↓: rolling_mean 移动窗口的均值 pandas.rolling_mean(arg, window, min_periods=None, freq=None, center=False, how=None, **kwargs) rolling_median 移动窗口的中位数 pandas.rolling_median(arg, window, min_periods=None, freq=None, center=False, how='

往返时间的估计与超时   TCP采用超时/重传机制来处理报文段的丢失问题.尽管这在概念上面很简单,但是在实际中还是会产生很多微妙的问题.最明显还是超时时间间隔的设置.很显然,这个时间间隔肯定会大于RTT时间,但是具体为多大呢?如何估计最开始的往返时间呢?下面将介绍这些问题的一些解决办法. 估计往返时间   报文段的样本RTT(表示为SampleRTT)为某报文段发出到对该报文段的确认被收到之间的时间量大多数TCP的实现仅在某个时刻做一次SampleRTT测量,而不是为每个报文段测量一个Sampl

TCP协议为了提供可靠的数据传输服务,会启动数据重传来解决下层网络层(IP)可能出现的数据包丢失. 超时重传介绍 TCP重传由两套独立机制来完成重传,基于时间的超时重传(RTO,TCP发送数据时会设置一个计时器,若至计时器超时仍未收到数据确认信息,则会引发相应的超时和计时器重传操作),基于确认信息的构成(通常在没发生延时的情况下,若TCP累积确认无法返回新的ACK,或者当ACK包含的选择确认信息(SACK)表明出现失序报文段时,快速重传会推断出现丢包,这时候发送端认为接收端可能出现数据丢失时,需

窗函数(window function)经常用在频域信号分析中.我其实不咋个懂,大概是从无限长的信号中截一段出来,然后把这一段做延拓变成一个虚拟的无限长的信号.用来截取的函数就叫窗函数,窗函数又分很多种,什么矩形窗.三角窗.高斯窗. 在scipy.signal中有各种我不懂的实现窗函数的方法.浏览了一下,头疼的紧. 那在pandas中也有实现窗函数的方法:rolling().我呢就不折腾什么信号处理的东西,用金融数据做个小示例好了. 金融时间序列也是一种时间序列数据,前后次序是固定,多为二维数据

Pandas手册汉化 此页面概述了所有公共pandas对象,函数和方法.pandas.*命名空间中公开的所有类和函数都是公共的. 一些子包是公共的,其中包括pandas.errors, pandas.plotting,和pandas.testing.文档中提到了公共函数 pandas.io和pandas.tseries子模块.pandas.api.types分包包含一些与pandas中的数据类型相关的公共函数 输入/输出 Pickling read_pickle(path[, compressi

所属网站分类: 资源下载 > python电子书 作者:mimi 链接:http://www.pythonheidong.com/blog/article/451/ 来源:python黑洞网 内容简介 <量化投资:以Python为工具>主要讲解量化投资的思想和策略,并借助Python 语言进行实战.<量化投资:以Python为工具>一共分为5 部分,第1 部分是Python 入门,第2 部分是统计学基础,第3 部分是金融理论.投资组合与量化选股,第4 部分是时间序列简介与配对

维基百科对深度学习的精确定义为“一类通过多层非线性变换对高复杂性数据建模算法的合集”.因为深层神经网络是实现“多层非线性变换”最常用的一种方法,所以在实际中可以认为深度学习就是深度神经网络的代名词.从维基百科给出的定义可以看出,深度学习有两个非常重要的特性——多层和非线性.那么为什么要强调这两个性质呢?下面我们开始学习. 1,线性模型的局限性 在线性模型中,模型的输出为输入的加权和.假设一个模型的输出 y  和输入 xi 满足以下关系,那么这个模型就是一个线性模型: 其中,wi , b € R

梯度下降法作为一种反向传播算法最早在上世纪由geoffrey hinton等人提出并被广泛接受.最早GD由很多研究团队各自发表,可他们大多无人问津,而hinton做的研究完整表述了GD方法,同时hinton为自己的研究多次走动人际关系使得其论文出现在了当时的<nature>上,从此GD开始得到业界的关注.这为后面各种改进版GD的出现与21世纪深度学习的大爆发奠定了最重要的基础. PART1:original版的梯度下降法 首先已经有了 对weights和bias初始化过的神经网络计算图,也有一

上一篇介绍 TCP 的文章「TCP 三次握手,四次挥手和一些细节」反馈还不错,还是蛮开心的,这次接着讲一讲关于超时和重传那一部分. 我们都知道 TCP 协议具有重传机制,也就是说,如果发送方认为发生了丢包现象,就重发这些数据包.很显然,我们需要一个方法来「猜测」是否发生了丢包.最简单的想法就是,接收方每收到一个包,就向发送方返回一个 ACK,表示自己已经收到了这段数据,反过来,如果发送方一段时间内没有收到 ACK,就知道很可能是数据包丢失了,紧接着就重发该数据包,直到收到 ACK 为止. 你可能