正则化 定义:正则化就是在计算损失函数时,在损失函数后添加权重相关的正则项. 作用:减少过拟合现象 正则化有多种,有L1范式,L2范式等.一种常用的正则化公式 \[J_{regularized} = \small \underbrace{-\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right)…

权重初始化 参考资料: 知乎 CSDN 权重初始化不能全部为0,不能都是同一个值.原因是,如果所有的初始权重是相同的,那么根据前向和反向传播公式,之后每一个权重的迭代过程也是完全相同的.结果就是,无论迭代多少次,这些权重都是一样的. 不可以初始化为较大的随机值.原因是在输出层的激活函数是sigmoid,当采用较大的值初始化权重后,sigmoid输入会是一个较大的值,结果就是对应的梯度很小,结果难以收敛.并且,由于sigmoid输入大,输出就会是一个接近0或1的值.在计算损失时,log(0) =…

概要 class1 week3的任务是实现单隐层的神经网络代码,而本次任务是实现有L层的多层深度全连接神经网络.关键点跟class3的基本相同,算清各个参数的维度即可. 关键变量: m: 训练样本数量 n[l]:第l层的节点数量,输入认为是第0层 方括号上标[l]: 第l层 圆括号上标(i): 第i个样本 $$ X = \left[ \begin{matrix} \vdots & \vdots & \vdots & \vdots \\ x^{(1)} & x^{(2)} &…

知识点汇总 作业内容:用logistic回归对猫进行分类 numpy知识点: 查看矩阵维度: x.shape 初始化0矩阵: np.zeros((dim1, dim2)) 去掉矩阵中大小是1的维度: x = np.squeeze(x) 将(a, b, c, d)矩阵转换为(b\(*\)c\(*\)d, a): X_flatten = X.reshape(X.shape[0], -1).T 算法逻辑梳理: 导入包 输入数据处理: 载入图片,格式转换,归一化 初始化参数 前向传播 反向更新 预测结果…

知识点梳理 python工具使用: sklearn: 数据挖掘,数据分析工具,内置logistic回归 matplotlib: 做图工具,可绘制等高线等 绘制散点图: plt.scatter(X[0, :], X[1, :], c=np.squeeze(Y), s=40, cmap=plt.cm.Spectral); s:绘制点大小 cmap:颜色集 绘制等高线: 先做网格,计算结果,绘图 x_min, x_max = X[0, :].min() - 1, X[0, :].max() + 1 y…

博主 撸的  该节 代码 地址 :https://github.com/LemonTree1994/machine-learning/blob/master/%E5%90%B4%E6%81%A9%E8%BE%BE%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/Untitled%20Folder%202/Untitled%20Folder%203/tf_tutorial.ipynb 博主参考的大牛(CSDN  何宽)的实践 :https://blog.csdn.net/u…

本文代码实验地址: https://github.com/guojun007/logistic_regression_learning_rate cousera 上的作业是 编写一个 logistic regression 分类器,为了看看学习率对优化结果的影响,我又私下做了对比实验, 2000次迭代,和30000次迭代,不同实验中分别使用学习率 0.01, 0.001, 0.0001,这个三个学习率. 2000次迭代: 30000次迭代 在第一个图中学习率最大的0.01,优化结果先变成最坏的,…

我们经常被问:机器翻译迭代了好几轮,专业翻译的饭碗都端不稳了,字幕组到底还能做什么? 对于这个问题,我们自己感受最深,却又来不及解释,就已经边感受边做地冲出去了很远,摸爬滚打了一整年. 其实,现在看来,机器翻译在通用领域的短句上,已经做得不错了,但是复杂长句.需要结合上下文语境.特定知识的翻译上,效果还远远不能让人满意. 人工智能领域的翻译,就属于后者.它不仅需要数学.编程知识打底,对特定专业表达进行界定,还需要适时结合上下文语境理解和延伸. 这样一来,你也许能够理解,忠于原意又有人情味的翻译很…

1.斯坦福大学公开课机器学习 (吴恩达 Andrew Ng) http://open.163.com/special/opencourse/machinelearning.html 笔记 http://cs229.stanford.edu/syllabus.html http://www.cnblogs.com/jerrylead/default.html?page=3 http://www.cnblogs.com/madrabbit/ https://blog.csdn.net/xiahouz…

问题描述: 做吴恩达深度学习第4课第3周编程作业时导入PIL包报错． 我的环境: 已经安装了Tensorflow GPU 版本 Python3 Anaconda 解决办法: 安装pillow模块,而不是PIL模块．原因是PIL模块不支持python3, 只支持python2. Python3下应安装pillow模块代, 替PIL即可． 下面内容是根据自己环境的记录: Ubuntu下我用Anaconda已经搭建好了Tensorflow GPU环境,环境名字是tf. 命令行下输入(下面命令不加sud…