import torch import torch.nn.functional as F import matplotlib.pyplot as plt # torch.manual_seed(1) # reproducible x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # 将1维数据转换成2维数据,torch不能处理1维数据.x data (tensor), shape=(100, 1) y = x.pow(2) + 0.2*…

TensorFlow实现Softmax Regression(回归)识别手写数字.MNIST(Mixed National Institute of Standards and Technology database),简单机器视觉数据集,28X28像素手写数字,只有灰度值信息,空白部分为0,笔迹根据颜色深浅取[0, 1], 784维,丢弃二维空间信息,目标分0~9共10类.数据加载,data.read_data_sets, 55000个样本,测试集10000样本,验证集5000样本.样本标注信…

本节我们会使用RNN来进行回归训练(Regression),会继续使用自己创建的sin曲线预测一条cos曲线. 首先我们需要先确定RNN的各种参数: import tensorflow as tf import numpy as np import matplotlib.pyplot as plt BATCH_START = 0 # 建立 batch data 时候的 index TIME_STEPS = 20 # backpropagation through time 的 time_step…

一.什么是softmax? 有一个数组S,其元素为Si ,那么vi 的softmax值,就是该元素的指数与所有元素指数和的比值.具体公式表示为: softmax回归本质上也是一种对数据的估计 二.交叉熵损失函数 在估计损失时,尤其是概率上的损失,交叉熵损失函数更加常用.下面是交叉熵 当我们预测单个物体(即每个样本只有1个标签),y(i)为我们构造的向量,其分量不是0就是1,并且只有一个1(第y(i)个数为1).于是.交叉熵只关心对正确类别的预测概率,因为只要其值足够大,就可以确保分类结果正确.遇…

import torch import torch.nn.functional as F import matplotlib.pyplot as plt # torch.manual_seed(1) # reproducible x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1) y = x.pow(2) + 0.2*torch.rand(x.size()) # nois…

对于pytorch的深度学习框架,在建立人工神经网络时整体的步骤主要有以下四步: 1.载入原始数据 2.构建具体神经网络 3.进行数据的训练 4.数据测试和验证 pytorch神经网络的数据载入,以MINIST书写字体的原始数据为例: import torch import matplotlib.pyplot as  plt def plot_curve(data): fig=plt.figure() plt.plot(range(len(data)),data,color="blue"…

二分类问题Sigmod 在 logistic 回归中,我们的训练集由  个已标记的样本构成: ,其中输入特征.(我们对符号的约定如下:特征向量  的维度为 ,其中  对应截距项 .) 由于 logistic 回归是针对二分类问题的,因此类标记 .假设函数(hypothesis function) 如下: 我们将训练模型参数 ,使其能够最小化代价函数 : 多分类问题 在一个多分类问题中,因变量y有k个取值,即.例如在邮件分类问题中,我们要把邮件分为垃圾邮件.个人邮件.工作邮件3类,目标值y是一个有…

回归是指拟合函数的模型.图像等.与分类不同,回归一般是在函数可微的情况下进行的.因为分类它就那么几类,如果把类别看做函数值的话,分类的函数值是离散的,而回归的函数值通常是连续且可微的.所以回归可以通过梯度下降法来进行. 比如对于函数$y =b + wx$,$x$是输入变量,$w$和$b$是参数.可以使用训练集输入一组$x$和$y$来进行对$w$和$b$的训练. 下面举多项式回归为例,也就是选择多项式为模型的假设空间,训练多项式的系数. 多项式回归 由泰勒公式我们可以知道,多项式可以拟合任何函数.…

CART决策树又称分类回归树,当数据集的因变量为连续性数值时,该树算法就是一个回归树,可以用叶节点观察的均值作为预测值:当数据集的因变量为离散型数值时,该树算法就是一个分类树,可以很好的解决分类问题.但需要注意的是,该算法是一个二叉树,即每一个非叶节点只能引伸出两个分支,所以当某个非叶节点是多水平(2个以上)的离散变量时,该变量就有可能被多次使用. 在sklearn中我们可以用来提高决策树泛化能力的超参数主要有 - max_depth:树的最大深度,也就是说当树的深度到达max_depth的时候…

我很好奇这个问题,于是搜了一下.我发现 Regression 这个词 本意里有"衰退"的意思. 词根词缀: re- 回 , 向后 + -gress- 步 , 级 + -ion 名词词尾 即Regression 本意为 衰退,退步 实际上是生物统计学家高尔顿研究父母身高和子女身高时发现 "即使父母的身高都'极端'高,其子女不见得会比父母高,而是有"衰退"(regression)(也称作"回归)至平均身高的倾向" 具体说明一下: 高尔顿当时…

Pytorch Autograd (自动求导机制) Introduce Pytorch Autograd库 (自动求导机制) 是训练神经网络时,反向误差传播(BP)算法的核心. 本文通过logistic回归模型来介绍Pytorch的自动求导机制.首先,本文介绍了tensor与求导相关的属性.其次,通过logistic回归模型来帮助理解BP算法中的前向传播以及反向传播中的导数计算. 以下均为初学者笔记. Tensor Attributes Related to Derivation note: 以…

Concept in English Coding Portion 评估回归的性能指标--R平方指标 比较分类和回归 Continuous supervised learning 连续变量监督学习 Regression 回归 Continuous:有一定次序,且可以比较大小 一.Concept in English Slope: 斜率 Intercept: 截距 coefficient:系数 二.Coding Portion Google: sklearn regression import n…

这学期一直在跟进 Coursera上的 Machina Learning 公开课, 老师Andrew Ng是coursera的创始人之一,Machine Learning方面的大牛.这门课程对想要了解和初步掌握机器学习的人来说是不二的选择.这门课程涵盖了机器学习的一些基本概念和方法,同时这门课程的编程作业对于掌握这些概念和方法起到了巨大的作用. 课程地址 https://www.coursera.org/learn/machine-learning 笔记主要是简要记录下课程内容,以及MATLAB…

背景 学习 Linear Regression in Python – Real Python,对线性回归理论上的理解做个回顾,文章是前天读完,今天凭着记忆和理解写一遍,再回温更正. 线性回归(Linear Regression) 刚好今天听大妈讲机器学习,各种复杂高大上的算法,其背后都是在求"拟合". 线性回归估计是最简单的拟合了.也是基础中的基础. 依然是从字面上先来试着拆解和组合: 首先,Regression 回归,指的是研究变量之间的关系,这个由来在Python 线性回归(Li…

Regression 回归 应用领域包括:Stock Market Forecast, Self-driving car, Recommondation,... Step 1: Model 对于宝可梦的CP值预测问题,假设为一个最简单的线性模型 y = b + \(\sum w_i x_i\) \(x_i\): an attribute of input x(feature) \(w_i\): weight, b: bias Step 2: Goodness of Function 定义一个Lo…

1. Numpy VS Torch #相互转换 np_data = torch_data.numpy() torch_data = torch.from_numpy(np_data) #abs data = [1, 2, -2, -1] #array tensor = torch.FloatTensor(data) #32bit 传入普通数组 np.abs(data); torch.abs(tensor); #矩阵相乘 data.dot(data) #但是要先转换为numpy的data data…

Jordan Lecture Note-1: Introduction 第一部分要整理的是Jordan的讲义,这份讲义是我刚进实验室时我们老师给我的第一个任务,要求我把讲义上的知识扩充出去,然后每周都要讲给他听.如果有需要这份讲义的话,请留言,我会用邮件发给你. 首先,我来说说机器学习这个东西.刚进实验室,我根本连什么是机器学习都不知道,听到这个名词后的第一反应是机器人,心想估计是搞硬件的.后来才发现其实机器学习更偏向于后面两个字,也就是“学习”.打个不恰当的比方吧,人类在婴儿时期,还无法对世上…

Andrew Ng的Machine Learning课程,在网易公开课上有中文版视频http://v.163.com/special/opencourse/machinelearning.html,六维上也有资源可以下载. 引言 machine learning 定义1:Field of study that gives computers the ability to learn without being explicitly programmed. machine learning 定义2…

目录 写在前面 算法Pipeline详解 如何训练 损失函数 训练数据准备 多任务学习与在线困难样本挖掘 预测过程 参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 主页:https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html 论文:https://arxiv.org/abs/1604.02878 代码:官方matlab版.C++ caffe版 第三方训练代码:tensorflow…

文章转自:https://zhuanlan.zhihu.com/p/31426458 经过R-CNN和Fast RCNN的积淀,Ross B. Girshick在2016年提出了新的Faster RCNN,在结构上,Faster RCNN已经将特征抽取(feature extraction),proposal提取,bounding box regression(rect refine),classification都整合在了一个网络中,使得综合性能有较大提高,在检测速度方面尤为明显. 图1 Fa…

下面的介绍都是基于VGG16 的Faster RCNN网络,各网络的差异在于Conv layers层提取特征时有细微差异,至于后续的RPN层.Pooling层及全连接的分类和目标定位基本相同. 一).整体框架 我们先整体的介绍下上图中各层主要的功能 1).Conv layers提取特征图: 作为一种CNN网络目标检测方法,Faster RCNN首先使用一组基础的conv+relu+pooling层提取input image的feature maps,该feature maps会用于后续的RPN层…

tensorflow基于图结构深度学习框架,内部通过session实现图和计算内核交互. tensorflow基本数学运算用法. import tensorflow as tf sess = tf.Session() a = tf.placeholder("float") b = tf.placeholder("float") c = tf.constant(6.0) d = tf.mul(a, b) y = tf.mul(d, c) print sess.run(…

Scikit learn 也简称 sklearn, 是机器学习领域当中最知名的 python 模块之一. Sklearn 包含了很多种机器学习的方式: Classification 分类 Regression 回归 Clustering 非监督分类 Dimensionality reduction 数据降维 Model Selection 模型选择 Preprocessing 数据预处理 我们总能够从这些方法中挑选出一个适合于自己问题的, 然后解决自己的问题. 安装 Scikit-learn (…

NiftyNet开源平台的使用    NiftyNet基础架构是使研究人员能够快速开发和分发用于分割.回归.图像生成和表示学习应用程序,或将平台扩展到新的应用程序的深度学习解决方案. 详细介绍请见: (https://www.cnblogs.com/zhhfan/p/9800473.html)官网  (https://niftynet.readthedocs.io/en/latest/config_spec.html)      NiftyNet工作流可以由NiftyNet应用程序和配置文件完全…

转自: https://zhuanlan.zhihu.com/p/31426458 faster rcnn的基本结构 Faster RCNN其实可以分为4个主要内容: Conv layers.作为一种CNN网络目标检测方法,Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps.该feature maps被共享用于后续RPN层和全连接层. Region Proposal Networks.RPN网络用于生成region proposa…

tf-faster-rcnn github:https://github.com/endernewton/tf-faster-rcnn backbone,例如vgg,conv层不改变feature大小,pooling层输出(w/2, h/2),有4个pooling所以featuremap变为原图1/16大小. 检测RPN模块: 例如任意图片reshape到800*600,输入网络过vgg,conv5_3->rpn_conv/3*3->rpn_relu 得到feature map (1,512,…

Sklearn 官网提供了一个流程图, 蓝色圆圈内是判断条件,绿色方框内是可以选择的算法: 从 START 开始,首先看数据的样本是否 >50,小于则需要收集更多的数据. 由图中,可以看到算法有四类,分类,回归,聚类,降维. 其中 分类和回归是监督式学习,即每个数据对应一个 label. 聚类 是非监督式学习,即没有 label. 另外一类是 降维,当数据集有很多很多属性的时候,可以通过 降维 算法把属性归纳起来.例如 20 个属性只变成 2 个,注意,这不是挑出 2 个,而是压缩成为 2 个,…

作者:Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun SPPnet.Fast R-CNN等目标检测算法已经大幅降低了目标检测网络的运行时间.可是尽管如此,仍然不能在工程上做到实时检测,这主要是因为region proposal computation耗时在整个网络用时中的占比较高.比如,Fast R-CNN如果忽略提取region proposals所花费的时间,就几乎可以做到实时性.为此,该论文介绍了Region Proposal N…

转自http://blog.csdn.net/c406495762/article/details/75172850 版权声明:本文为博主原创文章,未经博主允许不得转载.   目录(?)[-] 一 简单k-近邻算法 1 k-近邻法简介 2 距离度量 3 Python3代码实现 31 准备数据集 32 k-近邻算法 33 整体代码 二 k-近邻算法实战之约会网站配对效果判定 1 实战背景 2 准备数据数据解析 3 分析数据数据可视化 4 准备数据数据归一化 5 测试算法验证分类器 6 使用算法构建…

Spark提供了常用机器学习算法的实现, 封装于spark.ml和spark.mllib中. spark.mllib是基于RDD的机器学习库, spark.ml是基于DataFrame的机器学习库. 相对于RDD, DataFrame拥有更丰富的操作API, 可以进行更灵活的操作. 目前, spark.mllib已经进入维护状态, 不再添加新特性. 本文将重点介绍pyspark.ml, 测试环境为Spark 2.1, Python API. 首先介绍pyspark.ml中的几个基类: ML Da…