1.3鸢尾花数据读入 # 从sklearn包datasets读入数据 from sklearn import datasets from pandas import DataFrame import pandas as pd x_data = datasets.load_iris().data # 加载特征 y_data = datasets.load_iris().target # 加载标签 print('x_data from datasets:\n',x_data) print('y_da…

1.2常用函数 本节目标:掌握在建立和操作神经网络过程中常用的函数 # 常用函数 import tensorflow as tf import numpy as np # 强制Tensor的数据类型转换 x1 = tf.constant([1,2,3],dtype = tf.float64) print(x1) x2 = tf.cast(x1,tf.int32) print(x2) # 计算张量中最小的元素 print(tf.reduce_min(x2)) # 计算张量中最大的元素 print(…

一.简单的神经网络实现过程 1.1张量的生成 # 创建一个张量 #tf.constant(张量内容,dtpye=数据类型(可选)) import tensorflow as tf import numpy as np a = tf.constant([1,5],dtype = tf.int64) print(a) print(a.shape) print(a.dtype) tf.Tensor([1 5], shape=(2,), dtype=int64) (2,) <dtype: 'int64'…

1.4神经网络实现鸢尾花分类 import tensorflow as tf from sklearn import datasets import pandas as pd import numpy as np import matplotlib.pyplot as plt # 数据的读入 x_data = datasets.load_iris().data # 读入特征 y_data = datasets.load_iris().target # 读入输出 print(x_data.shap…

2.3激活函数sigmoid函数 f(x)= 1/(1 + e^-x)tf.nn.sigmoid(x)特点:(1)求导后的数值在0-0.25之间,链式相乘之后容易使得值趋近于0,形成梯度消失 (2)输出非0均值.收敛慢 (3)幂运算复杂,训练时间长 tanh函数 f(x)=(1-e^-2x)/(1+e^-2x)tf.math.tanh(x)特点:(1)输出是0均值 (2)导数值在0-1之间,容易造成梯度消失 (3)幂运算复杂,训练时间长 relu函数 f(x) = max(x,0) = {0,x…

1.5简单神经网络实现过程全览…

2.1预备知识 # 条件判断tf.where(条件语句,真返回A,假返回B) import tensorflow as tf a = tf.constant([1,2,3,1,1]) b = tf.constant([0,1,2,4,5]) c = tf.where(tf.greater(a,b),a,b) # 返回张量中比较大的元素 print(c) tf.Tensor([1 2 3 4 5], shape=(5,), dtype=int32) # 返回[0,1)之间的随机数 import n…

2.2复杂度和学习率 指数衰减学习率可以先用较大的学习率,快速得到较优解,然后逐步减少学习率,使得模型在训练后期稳定指数衰减学习率 = 初始学习率 * 学习率衰减率^(当前轮数/多少轮衰减一次) 空间复杂度: 层数 = 隐藏层的层数 + 1个输出层 (去掉输入层) 总参数 = 总w + 总b 0 0 0 0 0 0 0 0 0 0 0 例如上图 第一层:3x5+5 = 20 第二层5x3+3=18 总共38个 时间复杂度复杂度 乘加运算次数 左图 3X5 + 5x3 = 30 第一层 第二层…

2.4损失函数损失函数(loss):预测值(y)与已知答案(y_)的差距 nn优化目标:loss最小->-mse -自定义 -ce(cross entropy)均方误差mse:MSE(y_,y)=E^n~i=1(y-y_)^2/n loss_mse = tf.reduce_mean(tf.square(y_-y)) import tensorflow as tf import numpy as np SEED = 23455 rdm = np.random.RandomState(seed=SE…

[转] PRML笔记 - 1.1介绍 模式识别的目标 自动从数据中发现潜在规律,以利用这些规律做后续操作,如数据分类等. 模型选择和参数调节 类似的一族规律通常可以以一种模型的形式为表达,选择合适模型的过程称为模型选择(Model Selection).模型选择的目的只是选择模型的形式,而模型的参数是未定的. 从数据中获得具体规律的过程称为训练或学习,训练的过程就是根据数据来对选定的模型进行参数调节(Parameter Estimation)的过程,此过程中使用的数据为训练数据集(Trainin…