损失函数在机器学习中用于表示预测值与真实值之间的差距.一般而言,大多数机器学习模型都会通过一定的优化器来减小损失函数从而达到优化预测机器学习模型参数的目的. 哦豁,损失函数这么必要,那都存在什么损失函数呢? 一般常用的损失函数是均方差函数和交叉熵函数. 运算公式 1 均方差函数 均方差函数主要用于评估回归模型的使用效果,其概念相对简单,就是真实值与预测值差值的平方的均值,具体运算公式可以表达如下: 其中f(xi)是预测值,yi是真实值. 其中f(x_{i})是预测值,y_{i}是真实值. 其中f

tensorflow中有很多需要变量共享的场合,比如在多个GPU上训练网络时网络参数和训练数据就需要共享. tf通过 tf.get_variable() 可以建立或者获取一个共享的变量. tf.get_variable函数的作用从tf的注释里就可以看出来-- 'Gets an existing variable with this name or create a new one'. 与 tf.get_variable 函数相对的还有一个 tf.Variable 函数,两者的区别是: tf.Va

在学习深度网络框架的过程中,我们发现一个问题,就是如何输出各层网络参数,用于更好地理解,调试和优化网络?针对这个问题,TensorFlow开发了一个特别有用的可视化工具包:TensorBoard,既可以显示网络结构,又可以显示训练和测试过程中各层参数的变化情况.本博文分为四个部分,第一部分介绍相关函数,第二部分是代码测试,第三部分是运行结果,第四部分介绍相关参考资料. 一. 相关函数 TensorBoard的输入是tensorflow保存summary data的日志文件.日志文件名的形式如:e

代码示例来自https://github.com/aymericdamien/TensorFlow-Examples tensorflow先定义运算图,在run的时候才会进行真正的运算. run之前需要先建立一个session 常量用constant 如a = tf.constant(2) 变量用placeholder 需要指定类型 如a = tf.placeholder(tf.int16) 矩阵相乘 matrix1 = tf.constant([[3., 3.]]) #1*2矩阵 matrix

前面介绍了Adaboost,知道了Adaboost是损失函数为指数函数的Boosting算法.那么Boosting还包括了以下几个: 损失函数名称 损失函数 算法 平方差(Squared error) $\frac{1}{2}(y_i-f(x_i))^{2}$ L2 Boosting 绝对值差(Absolute error) $\left | y_i-f(x_i) \right |$ Gradient Boosting 指数损失(Exponential loss) $exp(-\widetild

一直都在园子里看文章,因为各种原因懒得写文章.最近稍得空闲,把这几天的工作成果分享一下. 因为工作需要,开发人员使用Qt进行系统移动端的开发,Qt的版本控制却不提供连接TFS的设置,只有使用svn.没有办法,只有安装svn,现学现了解,最后发现可以通过svn的hooks实现提交后,svn服务端自动同步到tfs服务端.post-commit脚本如下: ET WORKDIR=D:\xxxx SET SVNDIR= C:\Program Files\VisualSVN Server\bin SET S

一:下载系统文件 1.树莓派官网系统下载链接:https://www.raspberrypi.org/downloads/raspbian/ (也可在百度云盘下载:https://pan.baidu.com/s/1pZTKSEakmzapGUpt3Awptw) 2.打开网站后(如下图),左边是完整版系统, 右边是精简版系统无桌面,我们推荐下载完整的系统带图形化桌面功能软件齐全. 然后点击 Download ZIP 进行下载. 3.绿色框内代表着系统的更新时间,我们这里的是2018-10-09代表

Keras是一套基于Tensorflow.Theano及CNTK后端的高层神经网络API,可以非常友好地支持快速实验,本文从零开始介绍了如何使用Keras搭建MLP并给出两个示例. 基于Ubuntu安装Keras 具体安装过程在官方中英文文档中有详细说明 中文 https://keras-cn.readthedocs.io/en/latest/for_beginners/keras_linux/ 英文 https://keras.io/#installation Keras基础知识 Sequen

目录 核心概念 device device_factory device_mgr device_set 1. 核心概念 在framework部分,我们介绍了DeviceAttributes和DeviceBase两个结构,这些其实是为了我们今天要介绍的Device类做准备的.感兴趣的读者可以去回顾下前面讲过的内容.Device类只是对DeviceBase类的继承,没有添加更多新的数据成员,但提供了Compute计算接口.DeviceSet是一个设备集合类,而DeviceMgr与DeviceSet的

Pytorch实现波阻抗反演 1 引言 地震波阻抗反演是在勘探与开发期间进行储层预测的一项关键技术.地震波阻抗反演可消除子波影响,仅留下反射系数,再通过反射系数计算出能表征地层物性变化的物理参数.常用的有道积分.广义线性反演.稀疏脉冲反演.模拟退火反演等技术. 随着勘探与开发的深入,研究的地质目标已经从大套厚层砂体转向薄层砂体,而利用常规波阻抗反演方法刻画薄层砂体不仅要消耗大量人力.物力,且反演得到的波阻抗精度也难以满足实际需求.近年来,深度学习在地震反演和解释等地震领域显现出了巨大的潜力,其中

1.项目流程与数据库 1.课程体系 阶段1(服务器开发): 项目导入/数据库/JS基础/NodeJS 阶段2(前端核心技术): HTML/AJAX/CSS/bootstrap 阶段3(前端进阶技术):JS高级/DOM&BOM/jquery/VueJS 阶段4(H5移动开发):VueJS组件库/HTML5技术/微信开发/HybirdAPP 阶段5(框架技术):AngularJS/ReactJS/Python 2.Window操作系统中常用的快捷键 Alt+Tab: 切换窗口(向右) Alt+Shi

从文件中读取数据 在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步: 把样本数据写入TFRecords二进制文件 从队列中读取 TFRecords二进制文件,能够更好的利用内存,更方便的移动和复制,并且不需要单独的标记文件 下面官网给出的,对mnist文件进行操作的code,具体代码请参考:tensorflow-master\tensorflow\examples\how_tos\reading_data\conve

Tensorflow中的图(tf.Graph)和会话(tf.Session) Tensorflow编程系统 Tensorflow工具或者说深度学习本身就是一个连贯紧密的系统.一般的系统是一个自治独立的.能实现复杂功能的整体.系统的主要任务是对输入进行处理,以得到想要的输出结果.我们之前见过的很多系统都是线性的,就像汽车生产工厂的流水线一样,输入->系统处理->输出.系统内部由很多单一的基本部件构成,这些单一部件具有特定的功能,且需要稳定的特性:系统设计者通过特殊的连接方式,让这些简单部件进行连

代码和其他资料在 github 一.tf.keras概述 首先利用tf.keras实现一个简单的线性回归,如 \(f(x) = ax + b\),其中 \(x\) 代表学历,\(f(x)\) 代表收入,分别代表输入特征和输出值.为了描述预测目标与真实值之间的整体误差最小,需要定义一个损失函数,数学描述为\((f(x) - y)^2\),即预测值与真实值差值的平方的均值.优化的目标是求解参数 \(a,b\) 使其损失函数最小. import tensorflow as tf import pand

前言 AI 人工智能包含了机器学习与深度学习,在前几篇文章曾经介绍过机器学习的基础知识,包括了监督学习和无监督学习,有兴趣的朋友可以阅读< Python 机器学习实战 >.而深度学习开始只是机器学习的一分支领域,它更强调从连续的层中进行学习,这种层级结构中的每一层代表不同程序的抽象,层级越高,抽象程度越大.这些层主要通过神经网络的模型学习得到的,最大的模型会有上百层之多.而最简单的神经网络分为输入层,中间层(中间层往往会包含多个隐藏层),输出层.下面几篇文章将分别从前馈神经网络 FNN.卷积神

不小心改了计算机名称 导致VS在保存项目的时候,包如下错误: 解决方法: 第一步: 第二步:输入如下片段 tf workspaces /updateComputerName:旧计算机名称  /collection:"http://主机地址:端口/tfs/集合名称"

由于修改计算机名称或不同电脑上操作忘记签入,则需要强制签入文件 具体步骤如下: 1.在命令行中输入"cd  C:\Program Files\Microsoft Visual Studio 14.0\Common7\IDE"(tf程序在文件夹),进入tf程序所在目录. 2.查找那个人所用到的workspace,操作如下: tf workspaces /owner:[用户登录名]/server:http://(TFS服务器IP):8080/tfs 3.查看那个人挂起的更改: tf sta

有了数据,有了网络结构,下面我们就来写 cifar10 的代码. 首先处理输入,在 /home/your_name/TensorFlow/cifar10/ 下建立 cifar10_input.py,输入如下代码: from __future__ import absolute_import # 绝对导入 from __future__ import division # 精确除法,/是精确除,//是取整除 from __future__ import print_function # 打印函数

前面基本上把 TensorFlow 的在图像处理上的基础知识介绍完了,下面我们就用 TensorFlow 来搭建一个分类 cifar10 的神经网络. 首先准备数据: cifar10 的数据集共有 6 万幅 32 * 32 大小的图片,分为 10 类,每类 6000 张,其中 5 万张用于训练, 1 万张用于测试.数据集被分成了5 个训练的 batches 和 1 个测试的 batch.每个 batch 里的图片都是随机排列的.官网上提供了三个版本的下载链接,分别是 Python 版本的,Mat

/** ****************************************************************************** * @author    Maoxiao Hu * @version   V1.0.1 * @date       Feb-2015 ****************************************************************************** * < COPYRIGHT 2015 IS