weber's Blog

weber拒绝重复造轮。一张清晰的思维导图、一条合理的学习路线,对于学习者更有意义。

经典CTR模型(8)---DIN

Deep Interest Network for Click-Through Rate Prediction

论文:Deep Interest Network for Click-Through Rate Prediction,KDD,2018 1. 背景 深度学习在CTR预估领域已经有了广泛的应用,常见的算法比如Wide&Deep,DeepFM等。这些方法一般的思路是:通过Embedding层,将高维离散特征转换为固定长度的连续特征,然后通过多个全联接层,最后通过一个sigmoid函数...

经典CTR模型(7)---AutoInt

AutoInt Automatic Feature Interaction Learning via Self-Attentive Neural Networks

论文:AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks,CIKM,2019 1. 论文背景 AutoInt是2019年发表的比较新的论文,它的思路和DCN以及xDeepFM相似,都是提出了能够显式学习高阶特征交叉的网络。除此之外,AutoInt算法借鉴了NLP模型中Tran...

经典CTR模型(6)---xDeepFM

xDeepFM Combining Explicit and Implicit Feature Interactions for Recommender Systems

论文:xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems,KDD,2018 1. 背景介绍 FNN,PNN,DeepFM的特征交互都发生在 bit-wise,并且模型学习出的是隐式的交互特征,其形式未知,不可控;DCN虽然显式学习高阶特征交互,但特征交互都发生在 bit...

经典CTR模型(5)---DeepCross

Deep Crossing Web-Scale Modeling without Manually Crafted Combinatorial Features

论文:Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features,KDD,2016,微软 1. 背景介绍 Deep&Cross其实也属于双路并行的模型结构,只不过提出了一种新的模型叫做Cross Net来替代DeepFM中的FM部分。DNN本身虽然具备高阶交叉特征的学习能力,但...

经典CTR模型(4)---DeepFM

DeepFM A Factorization-Machine based Neural Network for CTR Prediction

论文:DeepFM: A Factorization-Machine based Neural Network for CTR Prediction,IJCAI,2017,Huawei 1. 论文背景 WDL的提出算是一大革新,提出了一种双路并行的模型组合结构。WDL可以同时学习低阶和高阶特征,但缺点是无法发现交叉特征。DeepFM就应运而生。 2. DeepFM结构 DeepFM包...

经典CTR模型(4)---WDL

Wide & Deep Learning for Recommender Systems

论文:Wide & Deep Learning for Recommender Systems,DLRS,2016,Google 1.业务背景 Google Play是一个由Google为Android设备开发的在线应用程序商店(类似于apple store),可以让用户去浏览、下载及购买在Google Play上的第三方应用程序。Google Play拥有超过10亿活跃用户和超过...

经典CTR模型(3)---Embedding+MLP浅层改造

FNN,PNN,NFM,ONN

这篇总结梳理的是具备 Embedding + MLP 这样结构的模型,之所以称为浅层改造,主要原因在于这些模型都是在embedding层的一些改变:使用复杂的操作让模型在浅层尽可能包含更多的信息,降低后续MLP的学习负担。 Product-based neural networks for user response prediction,2016,IEEE Neural factori...

经典CTR模型(2)---WDL

Wide & Deep Learning for Recommender Systems

论文:Wide & Deep Learning for Recommender Systems,DLRS,2016,Google 1.业务背景 Google Play是一个由Google为Android设备开发的在线应用程序商店(类似于apple store),可以让用户去浏览、下载及购买在Google Play上的第三方应用程序。Google Play拥有超过10亿活跃用户和超过...

经典CTR模型(1)---GBDT+LR

Practical Lessons from Predicting Clicks on Ads at Facebook

论文:Practical Lessons from Predicting Clicks on Ads at Facebook,KDD 2014,Facebook 1. 论文背景 CTR预估发展初期,使用最多的方法就是LR。 LR优点: 容易并行化,可以轻松处理上亿条数据; 使用sigmoid函数将结果映射到了 (0,1); LR缺点: ...

推荐系统&知识图谱(8)---KGAT

KGAT:Knowledge Graph Attention Network for Recommendation

论文:KGAT: Knowledge Graph Attention Network for Recommendation,KDD 2019,Xiang Wang, Xiangnan He 作者在知识图谱(KG)与用户-物品图混合形成的协同知识图(Collaborative knowledge graph,CKG)中,提出了一种称为 知识图注意力网络(Knowledge Graph Att...