目录 1 问题设置 1.1 数据集和预处理 1.2 概览整个模型 2. 创建模型模块 2.1 在优化循环中梯度裁剪 2.2 采样 3. 构建语言模型 3.1 梯度下降 3.2 训练模型 4. 结论     本文是DeepLearning.ai的第五门课作业: Character level language model - Dinosaurus Island   1 问题设置   欢迎来到恐龙岛! 6500万年前,恐龙就已经存在,并且在这种任务下它们又回来了.你负责一项特殊任务.领先的生物学研究…

日志 20170410 Coursera机器学习 2017.11.28 update deeplearning 台大的机器学习课程:台湾大学林轩田和李宏毅机器学习课程 Coursera机器学习 Week 5: Neural Networks: Learning 本来上周开始该学习这个内容,也是先提交了作业,今天才来看看具体的代码:感觉这个课程本身对基础巩固很好.没有连续学习感觉有些有点忘了,最终的目的是自己能够推导这个内容. 本来想跟着学习搞个电子证书的,结果申请的到期时间是2017.3.31;…

Finally pass all the Deeplearning.ai courses in March! I highly recommend it! If you already know the basic then you may be interested in course 4 & 5, which shows many interesting cases in CNN and RNN. Although I do think that 1 & 2 is better str…

因为是Jupyter Notebook的形式,所以不方便在博客中展示,具体可在我的github上查看. 第一章 Neural Network & DeepLearning week2 Logistic Regression with a Neural Network mindset v3.ipynb 很多朋友反映找不到h5文件,我已经上传了,具体请戳h5文件 week3 Planar data classification with one hidden layer v3.ipynb week4…

第一章 神经网络与深度学习(Neural Network & Deeplearning) DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络 DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络 第二章 改善深层神经网络 DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试.正则化以及优化--Week1深度学习的实用层面 DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试.正则化以…

一.进行误差分析 很多时候我们发现训练出来的模型有误差后,就会一股脑的想着法子去减少误差.想法固然好,但是有点headlong~ 这节视频中吴大大介绍了一个比较科学的方法,具体的看下面的例子 还是以猫分类器为例,假设我们的模型表现的还不错,但是依旧存在误差,预测后错误标记的数据中有一部分狗图片被错误的标记成了猫.这个时候按照一般的思路可能是想通过训练出狗分类器模型来提高猫分类器,或者其他的办法,反正就是要让分类器更好地区分狗和猫. 但是现在的问题是,假如错误分类的100个样本中,只有5个狗样本被…

既<Machine Learning>课程后,Andrew Ng又推出了新一系列的课程<DeepLearning.ai>,注册了一下可以试听7天.之后每个月要$49,想想还是有点贵,所以能听到哪儿算哪儿吧... Week one主要讲了近年来为啥Deep learning火起来了,有时间另起一贴总结一下. Week two回顾了Logistic Regression(逻辑回归).虽然它听上去已经不是一个陌生的概念了,但是每次想起时还是会迟疑一下,所以干脆记录一发备忘. 1. 逻辑回…

从接触机器学习就了解到Andrew Ng的机器学习课程,后来发现又出来深度学习课程,就开始在网易云课堂上学习deeplearning.ai的课程,Andrew 的课真是的把深入浅出.当然学习这些课程还是要有一些基础的.线性代数,高等数学的一些知识. Andrew NG: Deep Learning.ai 网易云课堂(中文字幕) 推荐理由: Andrew Ng老师是讲课的能手,很多人认识他是从Stanford的经典<机器学习>课程上.Andrew老师授课思路清晰,简洁明了. 这是一份优美的信息图…

一.RNN基本结构 普通神经网络不能处理时间序列的信息,只能割裂的单个处理,同时普通神经网络如果用来处理文本信息的话,参数数目将是非常庞大,因为如果采用one-hot表示词的话,维度非常大. RNN可以解决这两个问题: 1)RNN属于循环神经网络,当从左到右读取文本信息的时候,上一时刻的状态输出可以传递到下一时刻,例如上图的a表示状态,a(1)向下传递,这样就考虑了前面的信息,如果是双向RNN的话,上下文都考虑进去了. 2)RNN参数是共享的.为方便理解,上述图示是展开的RNN结构,其实RNN只…

在上吴恩达老师的深度学习课程,在coursera上. 我觉得课程绝对值的49刀,但是确实没有额外的钱来上课.而且课程提供了旁听和助学金. 之前在coursera上算法和机器学习都是直接旁听的,这些课旁听和注册没有任何区别.这回deeplearning.ai系列的课程,旁听无法提交作业,无法做程序作业. 去写了申请,希望申请助学金.助学金结果需要15天,我有等不及了,就先旁听了课程. 发现,其实旁听也是可以做程序作业的. 最开始看到这里上锁的课程作业,你可能认为无法看到作业,实际上,你只需要点开第…