目录 前言 1.背景知识 1.1.词向量 1.2.one-hot模型 1.3.word2vec模型 1.3.1.单个单词到单个单词的例子 1.3.2.单个单词到单个单词的推导 2.CBOW模型 3.skim-gram模型 4.Hierarchical Softmax 4.1.CBOW中的Hierarchical Softmax 4.2.CBOW中的梯度计算 5.Negative Sampling 5.1.Negative Sampling计算思路 5.2.Negative Sampling的方法

在网上发现的这篇文章写的非常好,有理论有示例. (一)  问题解析 001.   问:  IP地址,子网掩码,默认网关,DNS服务器,有什么区别呀?我知道没有IP地址就不能上网,我也知道没设DNS就不能上外网,可它们都有什么功能,有什么区别呢?还有真奇怪,我的计算机没设DNS,竟然能上QQ,却不能打开网页,这是为什么呢? 答:  IP是32位二进制数据,通常以十进制表示,并以“.”分隔.IP地址是一种逻辑地地址,用来标识网络中一个个主机,IP有唯一性,即每台机器的IP在全世界是唯一的. DNS是

TGraphicControl = class(TControl) // 这个类实在是简单,因为所有事情都已经委托给它的父Win控件了,只要管自己即可 private FCanvas: TCanvas; // 私有内部画板,不用程序员申请就有了 // 注意区别,其实图形控件没有画自己一说(但仍然接受WM_PAINT消息),直接响应消息并绘画即可. // 其父类已经在VCL体系中搭好了框架绘制当前图形控件,它会调用Paint函数执行程序员的画图动作. // Graphic控件自绘过程: // 0.

一 CAP理论简述 CAP (Consistency, Availability, Partition  Tolerance,) 理论是NoSQL数据库管理系统构建的基础.     强一致性:等同于所有节点访问同一份最新的数据副本   可用性:每一个操作总是能够在一定的时间内返回结果,这里需要注意的是"一定时间内"和"返回结果".一定时间指的是,在可以容忍的范围内返回结果,结果可以是成功或者失败.   分区容错性:理解为在存在网络分区的情况下,仍然可以接受请求(满足

任老师第一节主要讲了分布式系统实现时候面临的八个问题,布置的作业就是这个,查询CAP理论. 笔者初次接触分布式,所以本文主要是一个汇总. 一.CAP起源 CAP原本是一个猜想,2000年PODC大会的时候大牛Brewer提出的,他认为在设计一个大规模可扩放的网络服务时候会遇到三个特性:一致性(consistency).可用性(Availability).分区容错(partition-tolerance)都需要的情景,然而这是不可能都实现的.之后在2003年的时候,Mit的Gilbert和Lync

近期有幸读了一本好书<Makers>,作者是克里斯·安德森.作为3D Robotics和DIY Drones的联合创始人,自然对于正步入的“第三次工业革命”有较为深刻的体会.清晰的逻辑中,为我们预测“创客运动”—运用互联网和最新的工业技术进行制造定会颠覆制造业.语气断然坚定. 那么如此坚定的预测来自哪里?其实无不是 长尾理论贯穿始终. 最易理解的长尾理论解释: 长尾理论,是指商业和文化的未来不在于传统需求曲线上那个代表“畅销商品”的头部:而是那条代表“冷门商品”经常为人遗忘的长尾.举例来说,一

背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 在分布式训练时,提高计算通信占比是提高计算加速比的有效手段,当网络通信优化到一定程度时,只有通过增加每个worker上的batch size来提升计算量,进而提高计算通信占比.然而一直以来Deep Learning模型在训练时对Batch Size的选择都是异常敏感的,通常的经验是Large Batch Size会使收敛性变差,而相对小一点的Batch Size才能收敛的更好

KPCA,中文名称”核主成分分析“,是对PCA算法的非线性扩展,言外之意,PCA是线性的,其对于非线性数据往往显得无能为力,例如,不同人之间的人脸图像,肯定存在非线性关系,自己做的基于ORL数据集的实验,PCA能够达到的识别率只有88%,而同样是无监督学习的KPCA算法,能够轻松的达到93%左右的识别率(虽然这二者的主要目的是降维,而不是分类,但也可以用于分类),这其中很大一部分原因是,KPCA能够挖掘到数据集中蕴含的非线性信息. 今天突然心血来潮,想重新推导一下KPCA的公式,期间遇到了几个小

本书作者名气比较大,写过<黑天鹅><随机漫步的傻瓜>等书,据称专门研究不确定度性.本书是他以前的书的内容的延续. 所谓的反脆弱,其实软件业有现成的名词鲁棒性(Robust)就是稳健性.越稳健的事务.组织.制度,越能应对异常和危险.比如生物的进化,一定程度内的意外越多,存活下来的生物群体的适应能力越强大. 书中最核心的观点是把风险与收益的关系换个说法又说了一遍.许多事情发生的概率越小,发生后的收益或者损失越大. 我认为作者陷入了锤子定子模式,把已知的事情试图用一套新的理论来解释,在他

混沌理论(Chaos theory)是关于非线性系统在一定参数条件下展现分岔(bifurcation).周期运动与非周期运动相互纠缠,以至于通向某种非周期有序运动的理论.在耗散系统和保守系统中,混沌运动有不同表现,前者有吸引子,后者无(也称含混吸引子). 从20世纪80年代中期到20世纪末,混沌理论迅速吸引了数学.物理.工程.生态学.经济学.气象学.情报学等诸多领域学者有关注,引发了全球混沌热.混沌,也写作浑沌(比如<庄子>).自然科学中讲的混沌运动指确定性系统中展示的一种类似随机的行为或性态

最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books  by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learning42 by Michael Nielsen Deep Learning27 by Microsoft Research Deep Learning Tutorial23 by LISA lab, University

一.绪 Java/C++都是面向对象的第三代计算机高级编程语言,其本质雷同,而语法确有差异,稍不注意容易引起混淆.本文总结了一些这两门语言的差异之处,仅供参考. 二.C++ 对于C++这门语言,就其类来说成员访问类型就有  public.protected.private; 而就其继承方式来说 也分为共有继承.保护继承.私有继承.此外C++中有虚函数.纯虚函数之分,还有覆盖.隐藏之别.相对比较复杂. 就其多态性而言:当基类指针指向派生类时,此时基类指针只能访问基类中已有的成员,而不能访问派生类中

最近的项目有用到特别中文字体,最终效果如下图: 红线标记处均为字体,可选中,交互起来,比图片方便太多了. 解决思路就是将体积巨大的中文字库,取子集,只包涵要使用的那部分文字,因此体积就很小了(包含100字左右的中文字,也只有50K左右,如下图:).英文字库因为本身就小,就没必要再这么做了.   为了实现以上“取子集”的目标,实际要解决的问题: 1.把字库由TTF格式自动转化为woff.eot.svg等兼容格式,并放到相应路径下. 2.自动分析并提取网站中用到特殊字体的文字-----这一点很重要,

摘要: 前几天有人在知乎上问:今天就回答下很多人问了很久的这个问题,并且解释一下如何构建系统化的知识体系.我想很多人看到这个问题,期待的答案是一个书单,可是我要告诉你这并没有什么卵用.我想大部分人都经历过高中 ... 前几天有人在知乎上问: 今天就回答下很多人问了很久的这个问题,并且解释一下如何构建系统化的知识体系. 我想很多人看到这个问题,期待的答案是一个书单,可是我要告诉你这并没有什么卵用. 我想大部分人都经历过高中,你会发现高考650分的人和450分的人书单基本上是一样的.书单本身并不能造

原文链接:http://blog.csdn.net/v_july_v/article/details/7624837 作者:July.pluskid :致谢:白石.JerryLead 出处:结构之法算法之道blog. 前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清楚,尽管网上已经有朋友写得不错了(见文末参考链接),但在描述数学公式的时候还是显得

引言: 换了新电脑,终于再次使用上啦WIN7 ,经过一个周每天重装N次系统,终于弄好一个像样的系统啦.由于使用rt7lite对WIN7SP1官方整合包进行了适当精简,所以最终系统的稳定性还得经过一段时间的使用才能知道.其中在安装的时候,仅仅为系统盘(C盘)分配了10G的磁盘空间,而装完后就占用了8G以上空间,再想装上工作软件,就明显不足了.于是网搜方法对系统进行再度的减肥的时候,发现了WIN7的一个新工具[MKLINK],能够对系统文件或文件夹进行链接或联接.这可是个好工具,所以对其功能进行一番

1.main函数执行完毕,从栈中弹出操作函数 void fn1(void), fn2(void), fn3(void); int main() { atexit(fn3); atexit(fn1); atexit(fn2); cout << "hello world" << endl; //检测内存泄漏 _CrtDumpMemoryLeaks(); ; } void fn1() { cout << "A" << end

本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~ Contractive Autoencoder(CAE)是Bengio等人在2011年提出的一种新的Autoencoder, 在传统的Autoencoder的重构误差上加上了新的惩罚项, 亦即编码器激活函数对于输入的雅克比矩阵(Jacobian matrix)的Frobenius Norm. CAE的核心思想是尽量捕获训练样本中观察到的variance, 而忽略其他的variance. 鲁棒

1 什么是并发问题. 多个进程或线程同时(或着说在同一段时间内)访问同一资源会产生并发问题. 2 java中synchronized的用法 用法1 public class Test{ public synchronized void print(){ ....; } } 某线程执行print()方法,则该对象将加锁.其它线程将无法执行该对象的所有synchronized块. 用法2 public class Test{ public void print(){ synchronized(thi

原文链接:http://www.zhangxinxu.com/wordpress/2010/07/css%E6%A0%B7%E5%BC%8F%E5%88%86%E7%A6%BB%E4%B9%8B%E5%86%8D%E5%88%86%E7%A6%BB/ 一.关于CSS样式分离 zxx://一些名词表意含有自己的理解成分,或许与您的理解有偏差,希望不要拘泥于措辞.无论是CSS的分离还是js的分离,其主要作用之一就是精简与重用. CSS本身就代表着精简与重用.例如我们可以设置一个如下的样式: .exa

TF-IDF(Term Frequency–Inverse Document Frequency)是一种用于资讯检索与文本挖掘的常用加权技术.TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份 文件的重要程度.字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降.TF-IDF加权的各种形式常被搜索 引擎应用,作为文件与用户查询之间相关程度的度量或评级.除了TF-IDF以外,互联网上的搜寻引擎还会使用基于连结分析的评级方法,以确