KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)

AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction

Bin Liu, Chenxu Zhu, Guilin Li, Weinan Zhang, Jincai Lai, Ruiming Tang, Xiuqiang He, Zhenguo Li, Yong Yu

Huawei Noah’s Ark Lab, Shanghai Jiao Tong University

http://xxx.itp.ac.cn/pdf/2003.11235.pdf

在推荐系统中，特征之间的交互在CT预估中非常重要。现有深度学习模型中，特征交互要么是人工设计要么是简单的枚举。但是，对所有特征交互进行枚举，需要非常大的内存和计算资源。

糟糕的是，无用的交互可能会引入噪声，同时会使训练过程复杂化。这篇文章提出一种二阶段的算法，自动特征交互选择(AutoFIS)。该算法能够自动识别分解机中的重要特征，同时使得计算复杂度跟使得训练的目标模型达到收敛所需复杂度基本等同。

在搜索阶段，不是在候选特征交互的离散集合上搜索，将选择特征交互的方式通过引入结构参数放宽到连续性搜索。在结构参数上执行正则优化，模型可以在训练过程中自动识别并且移除冗余特征交互。

在重新训练阶段，将结构参数作为注意力单元，这样可以进一步提升模型性能。

在三个大规模数据集(两个公开数据集，一个私有数据集)上的离线实验表明，AutoFIS可以显著提升多个基于FM的模型的效果。AutoFIS已经部署到华为应用上推荐服务的训练平台上，10天的线上A/B测试表明AutoFIS相对DeepFM模型CTR提升20.3%，CVR提升20.1%。

部分现有方法的缺陷在于

之前也出现了一些基于深度学习的方法

作者们所提算法简介如下

该算法所带来的效果及在特征选择方面的优化点简介如下

这篇文章的主要贡献在于

部分现有CTR预估算法简介如下

数模型的缺陷在于

这篇文章的基准模型及简介如下

FM deepFM IPNN结构对比如下

特征嵌入层的输入输出形式如下

特征交互层形式如下

MLP层的形式如下

针对输出层，三个模型的表达式区别如下

目标函数定义如下

AutoFIS第一步，搜索阶段简介如下

AutoFIS 结构图示如下

为了更好的衡量各个特征交互的重要性，作者们考虑加入BN，详情如下

GRDA优化方法简介如下

一步优化方法简介如下

重新训练阶段，需要注意的点如下

数据集简介及统计信息如下

参与对比的基准方法以及衡量标准如下

几种方法在两个公开数据集上的效果对比如下

几种方法在私有数据集上的效果对比如下

在IPNN上也可以带来提升

并不是所有的统计AUC高的特征交互对应的权重都比较大

基于统计AUC和作者们所提模型的效果对比如下

AUC随训练迭代次数变化趋势示例如下

作者们所提模型能够找到关联较大的特征交互，图示如下

线上环境及配置如下

AB实验结果如下

各个组成部分对模型的效果影响如下

模型参数设置如下

代码地址

https://github.com/zhuchenxv/AutoFIS

我是分割线