原文来自:博客园(华夏35度)http://www.cnblogs.com/zhangchaoyang 作者:Orisun

特征组合

  x1年龄 x2北京 x3上海 x4深圳 x5男 x6女
用户1 23 1 0 0 1 0
用户2 31 0 0 1 0 1

如上例特征X有6个维度,年龄是连续值,城市和性别用one-hot表示,假设我们用最简单的线性拟合来预测y值。

$\hat{y}=w_0+\sum_{i=1}^n{w_ix_i}$

实际中“北京的男性用户”、“上海的女性用户”这种组合特征可能是有用的,即 $x_i,x_j$( $x_i,x_j$ 都是one-hot特征)同时为1时可能是一个很有用的特征,这种组合特征是 $x_i$ 和 $x_j$ 的线性组合所无法表示的。这样一来乘积 $x_i$ 就成一个新的特征。为了不错过任何一个这种可能有用的组合特征,我们穷举所有的i,j组合,把 $x_ix_j, 1\le{i}\le{n}, i<j\le{n}$  都加到特征里面去,即使其中某些 $x_i$ 不是one-hot特征或者某些 $x_ix_j$  不是有用的特征,都没关系,经过大量样本的训练,模型会把那些无用的特征的系数训练为0。

Factorization Machines

由于二次项系数$w_{ij}$,我们额外引入$\frac{n^2}{2}$个参数需要训练。有没有什么办法可以减少参数?再来观察二次项系数矩阵$W_{n\times n}$,它是对称的方阵$w_{ij}=w_{ji}$,同时它是稀疏的,因为绝大部分的组合特征都是无用的,所以其系数应该为0。可以对$W_{n\times n}$进行矩阵分解$W_{n\times n}=V_{n\times k}V_{n\times k}^T$,即$w_{i,j}=<v_i,v_j>$。其中$k\ll n$,本来需要训练的n×n个参数,现在只需要训练n×k个。

$\hat{y}=w_0+\sum_{i=1}^n{w_ix_i}+\sum_i^n{\sum_{j=i+1}^n{<v_i,v_j>x_ix_j}}$
$<v_i,v_j>=\sum_{f=1}^k{v_{if}v_{jf}}$

根据x计算$\hat{y}$的时间复杂度是$O(kn^2)$

$\sum_{i=1}^n{\sum_{j=1}^n{<v_i,v_j>x_ix_j}}$构成一个完整的对称矩阵,$\sum_{i=1}^n{\sum_{j=i+1}^n{<v_i,v_j>x_ix_j}}$是这个对称矩阵的上三角部分(不包含对角线),所以$\sum_{i=1}^n{\sum_{j=i+1}^n{<v_i,v_j>x_ix_j}}$等于 $\sum_{i=1}^n{\sum_{j=1}^n{<v_i,v_j>x_ix_j}}$减去对角线再除以2。

$\begin{equation}  \sum_{i=1}^n{\sum_{j=i+1}^n{<v_i,v_j>x_ix_j}} \\ = \frac{1}{2}\sum_{i=1}^n{\sum_{j=1}^n{<v_i,v_j>x_ix_j}}-\frac{1}{2}\sum_{i=1}^n{<v_i,v_i>x_ix_i}\\  = \frac{1}{2}\left(\sum_{i=1}^n{\sum_{j=1}^n{\sum_{f=1}^k{v_{if}v_{jf}x_ix_j}}}-\sum_{i=1}^n{\sum_{f=1}^k{v_{if}v_{if}x_ix_i}}\right) \\   = \frac{1}{2}\left(\sum_{f=1}^k{\sum_{i=1}^n{v_{if}x_i\sum_{j=1}^n{v_{jf}x_j}}}-\sum_{i=1}^n{\sum_{f=1}^k{v_{if}v_{if}x_ix_i}}\right) \end{equation}$

因为$\sum_{i=1}^n{v_{if}x_i}$跟j没有关系,$\sum_{j=1}^n{v_{jf}x_j}$跟i没有关系,所以

$\sum_{i=1}^n{v_{if}x_i\sum_{j=1}^n{v_{jf}x_j}}=\left(\sum_{i=1}^n{v_{if}x_i}\right)\left(\sum_{j=1}^n{v_{jf}x_j}\right)$

$\begin{equation} \sum_{i=1}^n{\sum_{j=i+1}^n{<v_i,v_j>x_ix_j}}\\ = \frac{1}{2}\left(\sum_{f=1}^k{\left(\sum_{i=1}^n{v_{if}x_i}\right)\left(\sum_{j=1}^n{v_{jf}x_j}\right)}-\sum_{i=1}^n{\sum_{f=1}^k{v_{if}v_{if}x_ix_i}}\right)\\ = \frac{1}{2}\sum_{f=1}^k\left(\left(\sum_{i=1}^n{v_{if}x_i}\right)\left(\sum_{j=1}^n{v_{jf}x_j}\right)-\sum_{i=1}^n{v_{if}^2x_i^2}\right)\\ = \frac{1}{2}\sum_{f=1}^k\left(\left(\sum_{i=1}^n{v_{if}x_i}\right)^2-\sum_{i=1}^n{v_{if}^2x_i^2}\right) \end{equation}$

如此一来根据x求$\hat{y}$的时间复杂度就降为$O(kn)$。

用梯度下降法进行训练时需要求$\hat{y}$对各个参数的偏导数:

$\frac{\partial{\hat{y}}}{\partial{w_0}}=1$
$\frac{\partial{\hat{y}}}{\partial{w_i}}=x_i$
$\frac{\partial{\hat{y}}}{\partial{v_{if}}}=x_i\sum_{j=1}^n{v_{jf}x_j}-v_{if}x_i^2$

在根据x计算y^的时候$\sum_{j=1}^n{v_{jf}x_j}$已经算好了,所以求$\frac{\partial{\hat{y}}}{\partial{v_{if}}}$的时间复杂度为O(1),对所有参数求偏导的总的时间复杂度为$O(kn)$

代码实现

实际当中我们很少会直接用线性拟合来做预测,通常会再套一层sigmoid函数。

尽量避免使用for循环,尽量使用numpy的矩阵运算,因为numpy的矩阵运算做了并行处理。

# coding=utf-8
__author__ = 'orisun' import numpy as np
np.random.seed(0)
import random def sigmoid(z):
return 1.0 / (1.0 + np.exp(-z)) def sigmoid_prime(z):
"""
sigmoid函数对z求一阶偏导
:param z:
:return:
"""
return sigmoid(z) * (1 - sigmoid(z)) class QuadraticCost(object):
@staticmethod
def fn(a, y):
"""
平方误差损失函数
:param a: 预测值
:param y: 真实值
:return:
"""
return 0.5 * np.linalg.norm(a - y) ** 2 @staticmethod
def delta(z, a, y):
"""
损失函数对z求偏导
:param z: x的线性函数
:param a:
:param y:
:return:
"""
return (a - y) * sigmoid_prime(z) class FM(object):
def __init__(self, train, valid, k, eta, maxecho, r2, cost=QuadraticCost):
"""
构造函数
:param train: 训练数据
:param valid: 验证数据
:param k: 矩阵V的第2维
:param eta: 固定学习率
:param maxecho: 最多迭代次数
:param r2: R2小于该值后可停止迭代
:param cost: 损失函数
"""
self.train_x = train[:, :-1]
self.train_y = train[:, -1:]
self.valid_x = valid[:, :-1]
self.valid_y = valid[:, -1:]
self.var_y = np.var(self.valid_y) # y的方差,在每轮迭代后计算R2时要用到
self.k = k
self.eta = float(eta)
self.maxecho = maxecho
self.r2 = r2
self.cost = cost
# 用正态分布随机初始化参数W和V
self.w0 = np.random.randn()
self.w = np.random.randn(1, self.train_x.shape[1])
self.v = np.random.randn(self.train_x.shape[1], self.k) def shuffle_data(self):
"""
每轮训练之前都随机打乱样本顺序
:return:
"""
ids = range(len(self.train_x))
random.shuffle(ids)
self.train_x = self.train_x[ids]
self.train_y = self.train_y[ids] def predict(self, x):
"""
根据x求y
:param x:
:return:
"""
z = self.w0 + np.dot(self.w, x.T).T + np.longlong(
np.sum((np.dot(x, self.v) ** 2 - np.dot(x ** 2, self.v ** 2)),
axis=1).reshape(len(x), 1)) / 2.0 return z, sigmoid(z) def evaluate(self):
"""
在验证集上计算R2
:return:
"""
_, y_hat = self.predict(self.valid_x)
mse = np.sum((y_hat - self.valid_y) ** 2) / len(self.valid_y)
r2 = 1.0 - mse / self.var_y
print "r2={}".format(r2)
return r2 def update_mini_batch(self, x, y, eta):
"""
平方误差作为损失函数,梯度下降法更新参数
:param x:
:param y:
:param eta: 学习率
:return:
"""
batch = len(x)
step = eta / batch
z, y_hat = self.predict(x)
y_diff = self.cost.delta(z, y_hat, y)
self.w0 -= step * np.sum(y_diff)
self.w -= step * np.dot(y_diff.T, x)
delta_v = np.zeros(self.v.shape)
for i in xrange(batch):
xi = x[i:i + 1, :] # mini_batch中的第i个样本。为保持shape不变,注意这里不能用x[i]
delta_v += (np.outer(xi, np.dot(xi, self.v)) - xi.T ** 2 * self.v) * (y_diff[i])
self.v -= step * delta_v def train(self, mini_batch=100):
"""
采用批量梯度下降法训练模型
:param mini_batch:
:return:
"""
for itr in xrange(self.maxecho):
print "iteration={}".format(itr)
self.shuffle_data()
n = len(self.train_x)
for b in xrange(0, n, mini_batch):
x = self.train_x[b:b + mini_batch]
y = self.train_y[b:b + mini_batch]
learn_rate = np.exp(-itr) * self.eta # 学习率指数递减
self.update_mini_batch(x, y, learn_rate) if self.evaluate() > self.r2:
break def fake_data(sample, dim, k):
"""
构造假数据
:param sample:
:param dim:
:param k:
:return:
"""
w0 = np.random.randn()
w = np.random.randn(1, dim)
v = np.random.randn(dim, k)
x = np.random.randn(sample, dim)
z = w0 + np.dot(w, x.T).T + np.longlong(
np.sum((np.dot(x, v) ** 2 - np.dot(x ** 2, v ** 2)),
axis=1).reshape(len(x), 1)) / 2.0
y = sigmoid(z)
data = np.concatenate((x, y), axis=1)
return z, data if __name__ == "__main__":
dim = 9 # 特征的维度
k = dim / 3
sample = 100
z, data = fake_data(sample, dim, k) train_size = int(0.7 * sample)
valid_size = int(0.2 * sample)
train = data[:train_size] # 训练集
valid = data[train_size:train_size + valid_size] # 验证集
test = data[train_size + valid_size:] # 测试集
test_z = z[train_size + valid_size:] eta = 0.01 # 初始学习率
maxecho = 200
r2 = 0.9 # 拟合系数r2的最小值
fm = FM(train, valid, k, eta, maxecho, r2)
fm.train(mini_batch=50) test_x = test[:, :-1]
test_y = test[:, -1:]
print 'z=', test_z
print "y=", test_y
z_hat, y_hat = fm.predict(test_x)
print "z_hat=", z_hat
print "y_hat=", y_hat

FM在特征组合中的应用的更多相关文章

  1. 机器学习入门09 - 特征组合 (Feature Crosses)

    原文链接:https://developers.google.com/machine-learning/crash-course/feature-crosses/ 特征组合是指两个或多个特征相乘形成的 ...

  2. Spring IO Platform 解决Spring项目组合中版本依赖

    简介: Spring IO Platform是Spring官网中排第一位的项目.它将Spring的核心API集成到一个适用于现代应用程序的平台中.提供了Spring项目组合中的版本依赖.这些依赖关系是 ...

  3. HBase在特征工程中的应用

    前言HBase是一款分布式的NoSQL DB,可以轻松扩展存储和读写能力. 主要特性有: 按某精确的key获取对应的value(Get) 通过前缀匹配一段相邻的数据(Scan) 多版本 动态列 服务端 ...

  4. Oracle如何实现从特定组合中随机读取值

    在这里,我们会用到DBMS_RANDOM包和CASE WHEN语句,思路如下: 一.利用DBMS_RANDOM.RANDOM函数随机生成数值,然后对数值进行取模,如果我们要在10个元素中随机读取的话, ...

  5. 特征组合&特征交叉

    https://segmentfault.com/a/1190000014799038 https://www.jianshu.com/p/fc96675b6f8e https://blog.csdn ...

  6. Leetcode刷题笔记(Python 找出所有相加之和为n的k个组合,组合中只允许含有1-9的正整数,并且每种组合中不存在重复的数字。)

    eg:输入:k=3,n=9 输出: [[1,2,6],[1,3,5],[2,3,4]] 输入:k=2,n=5 输出:[[1,4][2,3]] #!/usr/bin/env python # -*- c ...

  7. 在Spring+MyBatis组合中使用事务

     通过Spring和MyBatis的组合,给出一个较为详细的实例 代码清单:配置Spring+MyBatis测试环境 <?xml version='1.0' encoding='UTF-8' ? ...

  8. 特征工程中的IV和WOE详解

    1.IV的用途 IV的全称是Information Value,中文意思是信息价值,或者信息量. 我们在用逻辑回归.决策树等模型方法构建分类模型时,经常需要对自变量进行筛选.比如我们有200个候选自变 ...

  9. 推荐系统系列(一):FM理论与实践

    背景 在推荐领域CTR(click-through rate)预估任务中,最常用到的baseline模型就是LR(Logistic Regression).对数据进行特征工程,构造出大量单特征,编码之 ...

随机推荐

  1. swift的Hashable

    Conforming to the Hashable Protocol To use your own custom type in a set or as the key type of a dic ...

  2. JPEG图片扩展信息读取与改动

    近日项目中须要用到往jpg图片中写入信息(非水印),经调研发现Android中已经封装了读写jpg图片扩展信息的api(ExifInterface). 相应api地址:http://developer ...

  3. 1562. [NOI2009]变换序列【二分图】

    Description Input Output Sample Input 5 1 1 2 2 1 Sample Output 1 2 4 0 3 HINT 30%的数据中N≤50: 60%的数据中N ...

  4. 3226. [SDOI2008]校门外的区间【线段树】

    Description   受校门外的树这道经典问题的启发,A君根据基本的离散数学的知识,抽象出5种运算维护集合S(S初始为空)并最终输出S.现在,请你完成这道校门外的树之难度增强版——校门外的区间. ...

  5. Java多线程和并发基础面试总结

    多线程和并发问题是Java技术面试中面试官比较喜欢问的问题之一.在这里,从面试的角度列出了大部分重要的问题,但是你仍然应该牢固的掌握Java多线程基础知识来对应日后碰到的问题.收藏起来,希望给予即将找 ...

  6. 20155314 2016-2017-2 《Java程序设计》实验三 敏捷开发与XP实践

    20155314 2016-2017-2 <Java程序设计>实验三 敏捷开发与XP实践 实验内容 XP基础 XP核心实践 相关工具 实验知识点总结 (一)敏捷开发与XP 软件工程:把系统 ...

  7. Python Flask高级编程

    第1章 课程导语介绍课程的内容1-1 开宗明义 试看1-2 课程维护与提问 第2章 Flask的基本原理与核心知识本章我们首先介绍Python官方推荐的最佳包与虚拟环境管理工具:Pipenv.接着我们 ...

  8. 关于lora标配SPDT大功率射频开关

    SPDT大功率的UltraCMOS ™DC - 3.0 GHz射频开关              PE4259的UltraCMOS ™射频开关被设计为覆盖广泛的,通过3000兆赫从近DC应用.这种反射 ...

  9. mysql命令框中向表中插入中文字符,在可视化工具MySQL Workbeach或phpMyAdmin中不显示或显示乱码的问题解决

     一.问题导出 在刚刚开始学习MySQL数据库应用与开发这门课程的时候,老师建议我们使用可视化工具MySQL Workbeach进行数据库的相关管理,但是小编在mysql命令框使用insert命令向表 ...

  10. 关于安装时无法重启rabbitmq服务

    如图重启时找不到rabbitmq, 解决办法: rabbitmqctl stop :停止rabbitmq  rabbitmq-server restart : 重启rabbitmq 这两步就可以完成重 ...