经典CTR模型(4)---DeepFM

DeepFM A Factorization-Machine based Neural Network for CTR Prediction

Posted by weber on January 5, 2020

论文:DeepFM: A Factorization-Machine based Neural Network for CTR Prediction,IJCAI,2017,Huawei

1. 论文背景

WDL的提出算是一大革新,提出了一种双路并行的模型组合结构。WDL可以同时学习低阶和高阶特征,但缺点是无法发现交叉特征。DeepFM就应运而生。

2. DeepFM结构

DeepFM包含两部分:神经网络部分与因子分解机部分,分别负责低阶特征的提取和高阶特征的提取。这两部分共享同样的embedding输入。DeepFM的预测结果可以写为: 其结构如图所示:

image-20200323135157327

2.1 FM部分

​ FM部分是一个因子分解机。可见之前的博客->详细介绍了FM及其变形,并给出了基于pytorch的实现。

2.2 DNN部分

深度部分是一个2层的MLP,用于探索高阶特征。

3. 优缺点

优点:

  1. 模型具备同时学习低阶和高阶特征的能力;
  2. 共享embedding层,共享了表达;

缺点:

  1. DNN对于高阶特征的学习仍然是隐式的;