weber's Blog

weber拒绝重复造轮。一张清晰的思维导图、一条合理的学习路线,对于学习者更有意义。

召回策略演进梳理

召回策略

实际的工业推荐系统,一般分为两个阶段。 召回:主要根据用户部分特征,从海量的物品库里,快速找回一小部分用户潜在感兴趣的物品,然后交给排序环节; 精排:排序环节可以融入较多特征,使用复杂模型,来精准地做个性化推荐。 召回强调快,排序强调准。本文主要对召回策略进行梳理,下篇会对排序策略进行梳理。 1. 思维导图 标准的召回结构一般是多路召回,即将不同方法得到的召回结果整合...

optimizer优化器总结

SGD, Adagrad, RMSProp, Adam

优化器总结 深度学习的优化目标都是最小化目标函数,方式为bp算法,深度学习框架如tensorflow,pytorch一般通过封装的优化器实现这一过程,本文详细总结了现有的优化器。 目录: [toc] 0. 问题定义 待优化参数:$\theta$,目标函数:$f(\theta)$,学习率:$\eta$ 第t个时刻参数的梯度:$g_t=\bigtri...

统计学习方法(7)---CRF

CRF

conditional random field,CRF 1. 一句话概括CRF CRF是给定一组输入序列条件下另一组输出序列的条件分布模型。 1.1 线性链条件随机场 随机场:若干个位置组成的整体,当给每个位置按某种分布赋予一个值后,其全体就叫随机场。 马尔可夫随机场:每个位置的赋值仅仅与其相邻的位置的赋值有关。 条件随机场:在给定随机变量X的条件下,随机变量Y的马尔可夫随机场...

统计学习方法(6)---HMM

HMM,BW算法,维特比

hidden markov model,HMM 1. 一句话概括HMM HMM描述由隐藏的马尔可夫链生成观测序列的过程。 1.1 三个要素 其中,A为状态转移矩阵,B为观测概率矩阵,$\pi$为初始状态向量。 1.2 两个假设 齐次马尔可夫性假设 观测独立性假设 2. 三类问题 2.1 概率问题 已知HMM参数 $\lambda = (A,B,\pi)$,观测序列...

统计学习方法(5)---EM

EM,GMM

Expectation Maximization,EM 1. 一句话介绍EM EM是一种用于估计含有隐变量的概率模型的参数的迭代算法。 关键词:含有隐变量的模型,参数估计,迭代算法 1.1 EM步骤 输入:观察数据 ${y_1.y_2,…,y_n}$,联合分布 $P(y,z|\theta)$,条件分布$P(z|y,\theta)$,迭代次数$J$ 输出:模型参数 $ \thet...

统计学习方法(4)---LR

Logistic Regression,LR

Logistic Regression,LR 1. 一句话介绍LR 逻辑斯谛回归假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降求解参数,达到将数据二分类的目的。 关键词:伯努利分布->极大似然函数->随机梯度下降->分类方法 其表达式为: 根据预测值与给定阈值的大小,来判断是否为正类,是个分类模型。 2. 损失 & 梯度推导 loss...

统计学习方法(3)---SVM

Support Vector Machine,SVM

支持向量机,Support Vector Machine,SVM 1. SVM简介 支持向量机(Support Vector Machine,SVM)是一种二分类模型,其基本模型定义为特征空间上 间隔最大 的线性分类器。 2. 线性可分SVM推导 SVM要使间隔最大,就先要明确间隔的概念。 2.1 函数间隔与几何间隔 一个点 (xi,yi) 到超平面 $wx+b=0$ 的函数...

统计学习方法(2)---LDA

Linear Discriminant Analysis,LDA

线性判别分析,Linear Discriminant Analysis,LDA 1. LDA简介 线性判别分析(Linear Discriminant Analysis,LDA)也称为 Fisher 判别分析,是一种监督学习的降维技术。 其核心思想为:投影后的类内方差最小,类间方差最大。 假设我们有两类数据分别为红色和蓝色,如图所示,这些数据特征是二维的,我们希望将这些数据投影到一维...

统计学习方法(1)---FM

FM,FFM,AFM,Bilinear-FFM

1. 论文 FM: Factorization Machines,2010 FFM:Field-aware Factorization Machines for CTR Prediction,2016,RecSys AFM:Attentional Factorization Machines: Learning the Weight of Feature Interactio...

经典CTR模型(9)---DIEN

Deep Interest Evolution Network for Click-Through rate Prediction

论文: Deep Interest Evolution Network for Click-Through rate Prediction,AAAI,2019,阿里 简介: DIEN 是在 DIN 的基础上提出的。 在思想上,DIEN 相较于 DIN,考虑了序列信息。 在设计上,DIEN 设计了 Interest Extrator Layer 和 Interest Evolving Lay...