Auto ML自动特征工程

特征工程是在做机器学习训练的过程中必不可少的环节，特征工程就是找出对模型结果有益的特征交叉关系，通常特征工程需要耗费算法工程师大量的精力去尝试。针对这样的场景，PAI推出智能特征交叉组件，基于该组件可以帮助您锁定哪些特征的交叉是有意义的。本文介绍智能特征交叉组件的使用方法。

流程图

智能特征交叉基于深度学习框架TensorFlow开发，底层有大量并行化计算的工作，需要使用GPU。目前只有北京和上海两个区域支持该功能。

总流程图：

说明使用首页的模板列表创建项目时，需要修改智能特征交叉组件的模型输出路径为您自己账号的OSS地址。

1.开通GPU和OSS访问权限

登录PAI控制台。
单击左侧导航栏设置，在基本设置处开通GPU和OSS访问权限。

2.数据分桶

目前智能特征交叉组件只支持BIGINT型的数据交叉，考虑到平时业务中的原始数据通常是如下图所示的Double类型：

所以使用SQL组件或Onehot组件将字符型数据转为BIGINT型，另外需要使用特征离散组件进行特征分桶，将不同区间的特征按照分布的不同划分到不同的数据桶之中。数据经过分桶之后变为如下形态：

3.确定特征范围

特征交叉的基本原理是将特征先按照向量空间展开，然后做特征间的相互交叉验证，最终挑选出合理的特征组合方式。在计算之前需要知道每个特征的空间的最大值，如下面这组数据：

thalach的特征最大值为4
oldpeak的特征最大值为3
ca的特征最大值为4

执行如下SQL语句获取最大值。

select max(feature) from table；

在本实验样例数据中，所有分桶完的特征的最大值均为4。

于是智能特征交叉的特征长度范围要写成如下图样式。其中5表示开区间[0,5)，包含4。

4.生成训练和测试数据

本实验使用的训练数据和测试数据是相同的表，实际使用中也可以把测试数据替换成跟训练数据字段相同的不同表。

5.智能特征交叉

字段设置

输入桩左侧是训练数据，右侧是测试数据。

交叉特征字段选择：选择需要交叉验证的特征字段。
是否为稀疏数据：默认不选中。表示稠密数据。
目标列：选择目标列字段。
模型输出路径：生成的模型存于OSS中。
参数设置
遍历次数：迭代次数。
特征阶数：指特征交叉阶数。如3，表示结果最多计算出3个特征之间的交叉。

PAI命令：

PAI -name fives_ext -project algo_public

    -DlabelColName="ifhealth"   //目标列

    -Dmetric_file="metric_log.log" //日志

    -Dfeature_meta="[5,5,5,5,5,5,5,5,5,5,5,5,5]"

    -DtrainTable="odps://项目名/tables/表名"

    -Dbuckets="oss://{oss_bucket}/"

    -Dthreshold="0.5"

    -Dk="3"

    -DossHost="oss-cn-beijing-internal.aliyuncs.com" //区域

    -Demb_dims="16"

    -DenableSparse="0"

    -Dtemp_anneal_steps="30000"

    -DfeatureColName="sex,cp,fbs,restecg,exang,slop,thal,age,trestbps,chol,thalach,oldpeak,ca"    //特征

    -DtestTable="odps://项目名/tables/表名"

    -Darn="acs:ram::********:role/aliyunodpspaidefaultrole"  //rolearn

    -Depochs="1500"

    -DcheckpointDir="oss://{oss_bucket}/{path}/";

结果查询

在OSS根目录下，亦即Dbuckets路径下找到interactions.json文件。

文件显示的是各种组合的关系：

结果显示的是一些启发性的特征交叉组合方式，您可以按照该特征进行特征组合，举例如下：

[0,1]代表着第一个特征和第二个特征组合会有效果，特征顺序跟输入表的特征顺序一致。
[8, 6, 5]代表一个三阶特征组合关系。第七个、第五个、第四个这三个特征组合起来会有效果。