无所不能的Embedding5 - skip-thought的兄弟们[Trim/CNN-LSTM/quick-thought]

【无所不能的Embedding5 - skip-thought的兄弟们[Trim/CNN-LSTM/quick-thought]】的更多相关文章

无所不能的Embedding5 - skip-thought的兄弟们[Trim/CNN-LSTM/quick-thought]

这一章我们来聊聊skip-thought的三兄弟,它们在解决skip-thought遗留问题上做出了不同的尝试[Ref1-4], 以下paper可能没有给出最优的解决方案(对不同的NLP任务其实没有最优只有最合适)但它们提供了另一种思路和可能性.上一章的skip-thought有以下几个值得进一步探讨的点 Q1 RNN计算效率低:Encoder-Decoder都是用的RNN, RNN这种依赖上一步输出的计算方式天然和并行计算互斥, 所以训练那叫一个慢 Q2 Decoder:作为最后预测时完全用不…

Bert不完全手册3. Bert训练策略优化！RoBERTa & SpanBERT

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架,但是它提出的各种训练方式槽点较多,或多或少都有优化的空间.这一章就训练方案的改良,我们来聊聊RoBERTa和SpanBERT给出的方案,看作者这两篇paper是一个组的作品,所以彼此之间也有一些共同点~ RoBERTa RoBERTa与其说是一个新模型,更像是一个篇炼丹手札( ˘•ω•˘ ).作者针对BERT预训练中的几个超参数进行了测试,给出了更好的方案.相信你一定也在不少paper里都看到过"训练方案参考RoBER…

【机器学习Machine Learning】资料大全

昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machine Learning (by Hastie, Tibshirani, and Friedman's ) 2.Elements of Statistical Learning(by Bishop's) 这两本是英文的,但是非常全,第一本需要有一定的数学基础,第可以先看第二本.如果看英文觉得吃力,推荐看一下下面…

linq的简单查询和组合查询

以Car表和Brand表为例,其中Car表的Brand是Brand表的Brandcode. (1)建立两表的linq(一定要做好主外键关系,),创建之后不用修改,如要添加,另建文件. (2)Car表的属性扩展(注意partial) using System; using System.Collections.Generic; using System.Linq; using System.Web; /// <summary> /// Car 的摘要说明 /// </summary>…

机器学习(Machine Learning)&深度学习(Deep Learning)资料【转】

转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最…

Webform--LinQ 分页组合查询

一.linq高级查 1.模糊查(字符串包含) public List<User> Select(string name) { return con.User.Where(r => r.UserName.Contains(name)).ToList(); } 2.查开头(StartsWith,以XX开头) public List<User> Select(string name) { return con.User.Where(r => r.UserName.Starts…

谈一谈深度学习之semantic Segmentation

上一次发博客已经是9月份的事了....这段时间公司的事实在是多,有写博客的时间都拿去看paper了..正好春节回来写点东西,也正好对这段时间做一个总结. 首先当然还是好好说点这段时间的主要工作:语义分割.semantic segmentation 应该是DL这几年快速发展的最重要的领域之一了,但可惜的事,在这方面大家走的并不是很远,还是有很多值得改进的地方,这当然是个很好的事情,特别是我这种想发paper弱渣..... 语义分割做的是什么事呢? 就是给你一张图,你要对其中的每个pixel做分类,…