基础:逻辑回归 Logistic 回归模型的参数估计为什么不能采用最小二乘法? logistic回归模型的参数估计问题不能“方便地”定义“误差”或者“残差”. 对单个样本: 第i层的权重W[i]维度的行等于i层神经元的个数,列等于i-1层神经元的个数:第i层常数项b[i]b[i]维度的行等于i层神经元的个数,列始终为1. 对m个样本,用for循环不如用矩阵快,输入矩阵X的维度为(nx,m),nx是输入层特征数目. 其中,Z[1]的维度是(4,m),4是隐藏层神经元的个数:A[1]的维度与Z[1]…

1.初始化 2.前向传播 导数比较好理解 3.反向传播 全符号积分的推导看得我头有点晕 最后唤起我依稀的线代回忆 感谢吴恩达老师的反向传播讲解,第一遍看的有点晕,然后仔细看了一下又找了个B站的推导就懂了: 吴恩达老师原讲解:https://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702020&cid=2001693027 B站小姐姐的推导:https://www…

为了搞明白这个没少在网上搜,但是结果不尽人意,最后找到了一篇很好很详细的证明过程,摘抄整理为 latex 如下. (原文:https://blog.csdn.net/weixin_41718085/article/details/79381863) 更新:为了让看博客的带哥们能直观的看,我编译截图了,放在这里,latex 源码在下面 这个只是为了应付作业总结的,所以没有认真检查过,如果内容.正确性(尤其是这个)和格式上有什么问题请务必在下面评论区中指出. \documentclass{artic…

代码来源:https://github.com/eriklindernoren/ML-From-Scratch 卷积神经网络中卷积层Conv2D(带stride.padding)的具体实现:https://www.cnblogs.com/xiximayou/p/12706576.html 激活函数的实现(sigmoid.softmax.tanh.relu.leakyrelu.elu.selu.softplus):https://www.cnblogs.com/xiximayou/p/127130…

 =================第3周 浅层神经网络=============== ===3..1  神经网络概览=== ===3.2  神经网络表示=== ===3.3  计算神经网络的输出=== 方括号代表层数.   ===3.4  多个例子中的向量化=== ===3.5  向量化实现的解释===  方括号值的是层数,括号代表样本编号.ppt中显示的,不同row代表某一层的hidden unit,不同列代表各个样本,挺形象的呀,有趣.   ===3.6  激活函数=== tanh几乎各方…

第三周:浅层神经网络(Shallow neural networks) 3.1 神经网络概述(Neural Network Overview) 使用符号$ ^{[…

1. 第i层网络 Z[i] = W[i]A[i-1] + B[i],A[i] = f[i](Z[i]). 其中, W[i]形状是n[i]*n[i-1],n[i]是第i层神经元的数量: A[i-1]是第i-1层的神经元,形状是n[i-1]*p,p是样本数量: B[i]形状是n[i]*p,B[i]的每一列都是一样的,所以其实有效的参数只是n[i]个,python里直接用n[i]*1的b[i]然后boradcasting成n[i]*p方便做加法. A[0]对应输入层,n[0]是单个输入样本的特征数量.…

1. 第i层网络 Z[i] = W[i]A[i-1] + B[i],A[i] = f[i](Z[i]). 其中, W[i]形状是n[i]*n[i-1],n[i]是第i层神经元的数量: A[i-1]是第i-1层的神经元,形状是n[i-1]*p,p是样本数量: B[i]形状是n[i]*p,B[i]的每一列都是一样的,所以其实有效的参数只是n[i]个,python里直接用n[i]*1的b[i]然后boradcasting成n[i]*p方便做加法. A[0]对应输入层,n[0]是单个输入样本的特征数量.…

tensorFlow见基础 实验 MNIST数据集介绍 MNIST是一个手写阿拉伯数字的数据集. 其中包含有60000个已经标注了的训练集,还有10000个用于测试的测试集. 本次实验的任务就是通过手写数字的图片,识别出具体写的是0-9之中的哪个数字.   理论知识回顾 一个典型的浅层神经网络结构如下: 上图所示的是一个只有一层隐藏层的浅层神经网络 我们有3个输入层节点,分别对应i[1] i[2] i[3] 隐藏层有4个节点,分别对应h[0] h[1] h[2] h[3],对应的激活函数为ReL…

听一遍课程之后,我并不太明白这个算法的奇妙之处?? 为啥? 神经网络反向传播算法 神经网络的训练依靠反向传播算法,最开始输入层输入特征向量,网络层计算获得输出,输出层发现输出和正确的类号不一样,这时就让最后一层神经元进行参数调整,还会勒令连接他的倒数第二层神经元调整,层层往回倒退调整.经过调整的网络会在样本上面继续测试,若输出还是老分错,就继续来一轮回退调整,直到网络输出满意为止. 卷积神经网络算法 有9层,65万个神经元,6000万个参数.网络的输入是图片,输出是1000个类 这个模型训练需要…