很快又一年过去了. 自学音频算法也近一年了. 不记得有多少个日日夜夜, 半夜醒来,就为验证算法思路. 一次又一次地改进和突破. 傻逼样的坚持,必然得到牛逼样的结果. 这一年,主要扎音频算法上. 经常有网友联系我,几乎都会问我同一个问题. 我是怎么学习的? 说起来,其实很简单. 就是先设一个小目标,而且必须是一个具有挑战性的目标. 例如两年前从原来做安全,转去做图像算法. 当年定的目标就是实现一键修图的算法. 当然,也是做到了. 虽然后来也有改进过多次,但是一直没有整理出最后的版本. 有各种各样的…

frequentism-and-bayesianism-chs-ii 频率主义 vs 贝叶斯主义 II:当结果不同时   这个notebook出自Pythonic Perambulations的博文 . The content is BSD licensed.   这个系列共4个部分:中文版Part I Part II Part III Part IV,英文版Part I Part II Part III Part IV   在上一篇我论述了频率主义和贝叶斯主义在科学计算方面的差异.其中,讨论了…

Nnet3配置中的上下文和块大小 简介 本页讨论了nnet3配置中关于解码和训练的块大小以及左右上下文的某些术语.这将有助于理解一些脚本.目前,从脚本角度来看,没有任何关于nnet3的"概述"文档,所以这是nnet3唯一的文档.     基础     如果您已阅读了"nnet3"配置的以前的文档,您会发现"nnet3"不仅支持简单的前馈DNN,还可以实现在网络内层进行时间拼接(帧拼接)的时延神经网络(TDNN)以及带有recurrent(循环)拓…

0.开始训练之前先要做些什么? 在开始调参之前,需要确定方向,所谓方向就是确定了之后,在调参过程中不再更改 1.根据任务需求,结合数据,确定网络结构. 例如对于RNN而言,你的数据是变长还是非变长:输入输出对应关系是many2one还是many2many等等,更多结构参考如下 非RNN的普通过程,从固定尺寸的输入到固定尺寸的输出(比如图像分类)输出是序列(例如图像标注:输入是一张图像,输出是单词的序列)输入是序列(例如情绪分析:输入是一个句子,输出是对句子属于正面还是负面情绪的分类)输入输出都是…

深度学习广泛应用于各个领域.基于transformer的预训练模型(gpt/bertd等)基本已统治NLP深度学习领域,可见transformer的重要性.本文结合<Attention is all you need>Harvard 的代码<Annotated Transformer>深入理解transformer模型. Harvard的代码在python3.6 torch 1.0.1 上跑不通,本文做了很多修改.修改后的代码地址:Transformer. 1 模型的思想 Tran…

一.BERT模型: 前提:Seq2Seq模型 前提:transformer模型 bert实战教程1 使用BERT生成句向量,BERT做文本分类.文本相似度计算 bert中文分类实践 用bert做中文命名实体识别 BERT相关资源 BERT相关论文.文章和代码资源汇总 1.WordEmbedding到BERT的发展过程: 预训练:先通过大量预料学习单词的embedding,在下游的NLP学习任务中就可以使用了. 下游任务:Frozen(预训练的底层参数embedding不变)和Fine-tunin…

先安装必须的库 tensorflow_gpu==1.15.0 numpy opencv_python github: https://github.com/bai-shang/crnn_ctc_ocr_tf 下载数据集: http://www.robots.ox.ac.uk/~vgg/data/text/mjsynth.tar.gz要10G 然后解压缩,估计完整解压完需要1天 find ./mnt/ | xargs ls -d | grep jpg > image_list_all.txt #…

我们都知道,Sql Server在一个数据量巨大的表中添加一个非空栏位是比较费心的,缺乏经验的DBA或是开发人员甚至可能鲁莽地直接添加导致阻塞相应业务,甚至可能因为资源欠缺造成实例的全局问题.当然这都是Sql 2008R2及以前版本的情况.在SQL2012中采用了新的实现方式.这里我将对比相应的实现方式给大家做个介绍.并简单说明Sql Server早期版本添加非空列的方法. 添加非空栏位的实现方式 早期版本(Sql Server2008R2及以前)添加非空栏位(要求有默认值)是对表中的所有数据行…

Hinton 第七课 .这里先说下RNN有recurrent neural network 和 recursive neural network两种,是不一样的,前者指的是一种人工神经网络,后者指的是一种深度神经网络这里指的是前者,这部分翻译的不好,因为之前没怎么接触过RNN,不过就当理解意境吧,所以附上所有的ppt,看得懂的就看PPt,下面的是附带说明,有些语句没有那么通顺,所以就当意境了. 而且百科上居然有这么多分类: 完全递归网络(Fully recurrent network) Hopf…

循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/,在这篇文章中,加入了一些新的内容与一些自己的理解.   循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural Language Proce…