小书匠深度学习 文章太长,放个目录: 1.优化函数的选择 2.损失函数的选择 2.2常用的损失函数 2.2自定义函数 2.1实践 2.2将损失函数自定义为网络层 3.模型的保存 3.1同时保持结构和权重 3.2模型结构的保存 3.3模型权重的保存 3.5选择网络层载入 4.训练历史的保存 4.1检测运行过程的参数 4.2保持训练过程得到的所有数据 5.陷阱:validation_split与shuffle 1.优化函数的选择 先写结论,后面再补上每个优化函数的详细解释: 如果你的数据很稀疏,那应…

一.使用pip安装好tensorflow 二.使用pip安装好Keras 三.构建过程: 1 导入数据 2 定义模型 3 编译模型 4 训练模型 5 测试模型 6 写出程序 1.导入数据 使用皮马人糖尿病数据集(Pima Indians onset of diabetes)(自行百度,google下载数据集) 数据集的内容是皮马人的医疗记录,以及过去5年内是否有糖尿病.所有的数据都是数字,问题是(是否有糖尿病是1或0),是二分类问题.数据的数量级不同,有8个属性: 怀孕次数 2小时口服葡萄糖耐量…

Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果.它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行.Colaboratory 笔记本存储在 Google 云端硬盘 (https://drive.google.com/) 中,并且可以共享,就如同您使用 Google 文档或表格一样.Colaboratory 可免费使用.本文介绍如何使用 Google CoLaboratory 训练神经网络. 工具链接:https:/…

import numpy as np np.random.seed(1337) from keras.datasets import mnist from keras.models import Model from keras.layers import Dense, Input import matplotlib.pyplot as plt (x_train,y_train),(x_test,y_test) = mnist.load_data() x_train = x_train.asty…

//2019.07.29-301.Keras 是提供一些高度可用神经网络框架的 Python API ,能帮助你快速的构建和训练自己的深度学习模型,它的后端是 TensorFlow 或者 Theano . 2.Keras 被认为是构建神经网络的未来,以下是一些它流行的原因:(1)轻量级和快速开发:Keras的目的是在消除样板代码.几行Keras代码就能比原生的 TensorFlow 代码实现更多的功能.你也可以很轻松的实现 CNN和RNN,并且让它们运行在 CPU 或者 GPU 上面.(2)框架…

在这篇文章中,会实现一个BP(backpropagation)算法,并将之应用到手写的阿拉伯数字(0-9)的自动识别上. 训练数据集(training set)如下:一共有5000个训练实例(training instance),每个训练实例是一个400维特征的列向量(20*20 pixel image).用 X 矩阵表示整个训练集,则 X 是一个 5000*400 (5000行 400列)的矩阵 另外,还有一个5000*1的列向量 y ,用来标记训练数据集的结果.比如,第一个训练实例对应的输出…

原文链接:https://developers.google.com/machine-learning/crash-course/training-neural-networks/ 反向传播算法是最常见的一种神经网络训练算法.借助这种算法,梯度下降法在多层神经网络中将成为可行方法.TensorFlow 可自动处理反向传播算法,因此不需要对该算法作深入研究. 1- 最佳做法 1.1 失败案例 很多常见情况都会导致反向传播算法出错. 梯度消失 较低层(更接近输入)的梯度可能会变得非常小.在深度网络中…

keras训练cnn模型时loss为nan 1.首先记下来如何解决这个问题的:由于我代码中 model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) 即损失函数用的是categorical_crossentropy所以,在pycharm中双击shift键,寻找该函数,会出现keras.loss模块中有该函数,进入该函数后, 原函数为: def categorical_crossent…

怎么选取训练神经网络时的Batch size? - 知乎 https://www.zhihu.com/question/61607442 深度学习中的batch的大小对学习效果有何影响? - 知乎 https://www.zhihu.com/question/32673260 训练神经网络时如何确定batch size? - 夕小瑶的文章 - 知乎 https://zhuanlan.zhihu.com/p/27763696 如何理解深度学习分布式训练中的large batch size与lear…

pytorch1.0批训练神经网络 import torch import torch.utils.data as Data # Torch 中提供了一种帮助整理数据结构的工具, 叫做 DataLoader, 能用它来包装自己的数据, 进行批训练. torch.manual_seed(1) # reproducible # 批训练的数据个数 BATCH_SIZE = 5 BATCH_SIZE = 8 x = torch.linspace(1, 10, 10) # this is x data (…