目录 概 主要内容 方法 损失函数的转换 一个例子 Hyv"{a}rinen A. Estimation of Non-Normalized Statistical Models by Score Matching. Journal of Machine Learning Research, 2005. 概 我们常常会建模如下的概率模型: \[p(\xi;\theta) = \frac{1}{Z(\theta)} q(\xi; \theta). \] 比如energy-based models.…
1.1 Statistical Models and Social Reality KEY: complex society v.s statistical models relationship,data,descriptive accuracy With few exceptions, statistical data analysis describes the outcomes of real social processesand not the processes themselve…
Statical model regression $y_i=f_{\theta}(x_i)+\epsilon_i,E(\epsilon)=0$ 1.$\epsilon\sim N(0,\sigma^2)$ 2.使用最大似然估计$\rightarrow$最小二乘 $y\sim N(f_{\theta}(x),\sigma^2)$ $L(\theta)=-\frac{N}{2}log(2\pi)-Nlog\sigma -\frac{1}{2\sigma^2}\sum_i\left(y_i-f_{\…
My deep learning reading list 主要是顺着Bengio的PAMI review的文章找出来的.包括几本综述文章,将近100篇论文,各位山头们的Presentation.全部都可以在google上找到.BTW:由于我对视觉尤其是检测识别比较感兴趣,所以关于DL的应用主要都是跟Vision相关的.在其他方面比如语音或者NLP,很少或者几乎没有.个人非常看好CNN和Sparse Autoencoder,这个list也反映了我的偏好,仅供参考. Review Book Lis…
最近开始学习深度学习了,加油! 下文转载自:http://blog.sina.com.cn/s/blog_bda0d2f10101fpp4.html 主要是顺着Bengio的PAMI review的文章找出来的.包括几本综述文章,将近100篇论文,各位山头们的Presentation.全部都可以在google上找到. BTW:由于我对视觉尤其是检测识别比较感兴趣,所以关于DL的应用主要都是跟Vision相关的.在其他方面比如语音或者NLP,很少或者几乎没有.个人非常看好CNN和Sparse Au…
1.算法概述 假设X是从真实的数据(或语料库)中抽取的样本,其服从一个相对可参考的概率密度函数P(d),噪音样本Y服从概率密度函数为P(n),噪音对比估计(NCE)就是通过学习一个分类器把这两类样本区别开来,并能从模型中学到数据的属性. 模型原始论文:Noise-contrastive estimation: A new estimation principle for unnormalized statistical models tensorflow引用:Candidate Sampling…
看过前面的例子,会发现实现深度神经网络需要使用 tensorflow.nn 这个核心模块.我们通过源码来一探究竟. # Copyright 2015 Google Inc. All Rights Reserved. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. #…
数据工具汇总 史上最全的大数据分析和制作工具 全球100款大数据工具汇总 SQL 数据分析常用语句 01 - NumPy HomePage:http://www.numpy.org/ NumPy(数值 Python 的简称)是用Python实现的用于科技计算的基础软件包,是一个强大的科学分析和建模工具 提供了大量数据结构,能够轻松地执行多维数组和矩阵运算 可用作不同类型通用数据的多维容器 可以和其他编程语言无缝集成 可以简单而快速地与大量数据库和工具结合 官方文档 - NumPy HomePag…
综述 之前在博客中总结过nce损失和YouTuBe DNN推荐;但大多都还是停留在理论层面,没有实践经验.所以笔者想借由此文继续深入探索YouTuBe DNN推荐,另外也进一步总结TensorFlow使用姿势.另外本代码仅自己学习练习使用,如有不妥地方欢迎讨论. 第一步,搞定特征和样本 # 网络参数,在inference_fn进行初始化 weights = {} # 训练集header,也用于input_fn _CSV_COLUMNS = [] # label list最大长度 MAX_NUM_…
Notes from Notes on Noise Contrastive Estimation and Negative Sampling one sample: \[x_i \to [y_i^0,\cdots,y_{i}^{k}]\] where \(y_i^0\) are true labeled words , and \(y_i^1,\cdots,y_i^{k}\) are noise samples word index, which is generated by unigram…