本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~ 在机器学习领域, kernel trick是一种非常有效的比较两个样本(对象)的方法. 给定两个对象$x_i, x_j \in \mathcal{X}$, 用$k(x_i, x_j) :=\left <\phi(x_i), \phi(x_j)\right>$来比较两个对象的特征$\phi(x_i), \phi(x_j)$. kernel trick通过定义一个半正定核矩阵$k$, 可以在不…

主讲人 戴玮 (新浪微博: @戴玮_CASIA) Wilbur_中博(1954123) 20:00:49 我今天讲PRML的第十二章,连续隐变量.既然有连续隐变量,一定也有离散隐变量,那么离散隐变量是什么?我们可能还记得之前尼采兄讲过的9.2节的高斯混合模型.它有一个K维二值隐变量z,不仅只能取0-1两个值,而且K维中只能有1维为1.其他维必须为0,表示我们观察到的x属于K类中的哪一类.显然,这里的隐变量z就是个离散隐变量.不过我们容易想到,隐变量未必像kmeans或GMM这种聚类算法那样,非此…

1. 背景 1.1 Gradient Boosting Gradient Boosting是一种Boosting的方法,它主要的思想是,每一次建立模型是在之前建立模型损失函数的梯度下降方向.损失函数是评价模型性能(一般为拟合程度+正则项),认为损失函数越小,性能越好.而让损失函数持续下降,就能使得模型不断改性提升性能,其最好的方法就是使损失函数沿着梯度方向下降(讲道理梯度方向上下降最快). Gradient Boost是一个框架,里面可以套入很多不同的算法. 1.2 Gradient Boost…

先来一波各版本性能展览: Pre-trained Models Choose the right MobileNet model to fit your latency and size budget. The size of the network in memory and on disk is proportional to the number of parameters. The latency and power usage of the network scales with th…

本节讲深度学习用于文本和序列 用于处理序列的两种基本的深度学习算法分别是循环神经网络(recurrent neural network)和一维卷积神经网络(1D convnet) 与其他所有神经网络一样,深度学习模型不会接收原始文本作为输入,它只能处理数值张量.文本向量化(vectorize)是指将文本转换为数值张量的过程.它有多种实现方法 将文本分割为单词,并将每个单词转换为一个向量 将文本分割为字符,并将每个字符转换为一个向量 提取单词或字符的 n-gram,并将每个 n-gram 转换为一…

1. one-hot编码 # 字符集的one-hot编码 import string samples = ['zzh is a pig','he loves himself very much','pig pig han'] characters = string.printable token_index = dict(zip(range(1,len(characters)+1),characters)) max_length =20 results = np.zeros((len(sampl…

1. Parameter pruning and sharing 1.1 Quantization and Binarization Compressing deep convolutional networks using vector quantization Quantized convolutional neural networks for mobile devices Improving the speed of neural networks on cpus Deep learni…

Convolutional Neural Networks ImageNet Models Architecture Design Activation Functions Visualization Fast Convolution Low-Rank Filter Approximation Low Precision Parameter Pruning Transfer Learning Theory 3D Data Hardware ImageNet Models 2017 CVPR Xc…

https://www.kaggle.com/users/25112/steffen-rendle/forum Congratulations to Yu-Chin, Wei-Sheng, Yong and Michael! There have been several questions about the relationship between FM and FFM. Here are my thoughts about the differences and similarities.…

http://scikit-learn.org/stable/modules/feature_extraction.html 4.2节内容太多,因此将文本特征提取单独作为一块. 1.the bag of words representation 将raw data表示成长度固定的数字特征向量,scikit-learn提供了三个方式: tokenizing:给每个token(字.词.粒度自己把握)一个整数索引id counting:每一个token在每一个文档中出现的次数 normalizing:…