推荐系统技术原理与实践

第 1章 推荐系统简介 1

1.1 什么是推荐系统 1

1.2 推荐系统的作用和意义 2

1.3 推荐系统的技术架构 3

1.4 推荐系统的召回阶段 5

1.5 推荐系统的粗排阶段 5

1.6 推荐系统的精排阶段 5

1.7 推荐系统的重排阶段 6

1.8 小结 6

第 2章 推荐系统算法基础 7

2.1 LR--应用极广的机器学习模型 7

2.1.1 LR的数学原理 7

2.1.2 LR的训练方法 9

2.1.3 LR的训练优化 12

2.1.4 LR的优势和局限性 13

2.2 MLP--极简单的深度学习模型 13

2.2.1 MLP的模型结构 15

2.2.2 MLP的训练方法 16

2.2.3 MLP的优势和局限性 16

2.3 机器学习常用的优化算法 17

2.3.1 随机梯度下降法 17

2.3.2 小批量随机梯度下降法 18

2.3.3 FTRL在线学习算法 18

2.4 深度学习常用的优化算法 18

2.4.1 深度学习的优化挑战 18

2.4.2 AdaGrad算法 19

2.4.3 RMSProp算法 20

2.4.4 AdaDelta 算法 21

2.4.5 Adam 算法 21

2.5 深度学习常用的激活函数.22

2.5.1 引入激活函数的目的 22

2.5.2 sigmoid 激活函数 23

2.5.3 ReLU 激活函数 25

2.5.4 Leaky ReLU 激活函数25

2.5.5 PReLU 激活函数 26

2.5.6 阿里巴巴的 Dice 激活函数 26

2.5.7 RReLU 激活函数 27

2.6 欠拟合和过拟合 28

2.6.1 欠拟合和过拟合的原因与解决方案 28

2.6.2 处理欠拟合的特定技术 29

2.6.3 处理过拟合的特定技术 30

2.7 深度学习中模型参数的初始化 31

2.7.1 权重和超参数的初始化 31

2.7.2 权重初始化案例-连续点击概率模型 31

2.8 小结 33

第3 章 召回技术演进 35

3.1 召回层的作用和意义 36

3.2 召回模型的演进 37

3.3 传统召回算法 38

3.3.1 基于协同过滤的召回算法 38

3.3.2 基于矩阵分解的召回算法 41

3.3.3 传统召回算法小结 42

3.4 Embedding 模型化召回的基本框架 42

3.4.1 Embedding 的产生 43

3.4.2 Embedding 的发展 44

3.4.3 基于 Embedding 的召回框架 44

3.5 基于内容语义的 i2i 召回 46

3.5.1 物品 Embedding 生成 46

3.5.2 Word2vec-经典的词向量方法 46

3.5.3 FastText-字符级别n-gram 方法 54

3.5.4 BERT-动态词向量方法 55

3.5.5 语言模型扩展为序列模型 58

3.5.6 内容语义召回小结 59

3.6 基于 Graph Embedding 的i2i 召回 60

3.6.1 DeepWalk-随机游走图表征 61

3.6.2 EGES-阿里巴巴的Graph Embedding 方法 61

3.6.3 Node2vec-优化图结构的Graph Embedding 方法 63

3.6.4 GCN-基于谱域的图神经网络 65

3.6.5 GraphSAGE-基于空间域的图神经网络 68

3.6.6 Graph Embedding 小结 70

3.7 基于深度学习的 u2i 召回 70

3.7.1 DSSM-经典的双塔模型 70

3.7.2 YouTube 的深度学习召回算法 71

3.7.3 基于用户长短兴趣的Embedding 召回 73

3.7.4 深度学习 u2i 召回小结 78

3.8 小结 78

第4 章 粗排技术演进 80

4.1 粗排的发展 81

4.2 粗排的前深度学习时代 81

4.3 粗排的深度学习时代 82

4.3.1 向量内积模型 82

4.3.2 向量版 WDL 模型--向量内积模型的改进 83

4.4 粗排的进展 84

4.4.1 阿里巴巴的粗排模型 COLD 84

4.4.2 知识蒸馏 85

4.5 粗排的未来展望 90

4.6 小结90

第5 章 精排技术演进 91

5.1 精排模型的演化关系 92

5.2 传统机器学习推荐模型 94

5.2.1 FM 模型-稀疏数据下的特征交叉94

5.2.2 FFM-特征域感知 FM 模型 97

5.2.3 GBDT LR-Facebook 的特征交叉模型 98

5.2.4 MLR-阿里巴巴的经典 CTR 预估模型 100

5.3 精排的深度学习时代 103

5.3.1 WDL-谷歌的经典 CTR预估模型 103

5.3.2 DCN-深度交叉网络 105

5.3.3 DCN-v2-谷歌的改进版DCN 模型 107

5.3.4 DIN-基于注意力机制的用户动态兴趣表达 109

5.3.5 DIEN-使用序列模型对用户兴趣建模 112

5.3.6 BST-使用 Transformer 对用户行为序列建模 116

5.3.7 DSIN-基于会话的兴趣演化模型 117

5.3.8 MIMN-多通道用户兴趣网络 121

5.3.9 SIM-基于搜索的超长用户行为序列建模 126

5.3.10 CAN-特征交叉新路线 135

5.4 小结 139

第6 章 重排技术演进 141

6.1 重排的作用 142

6.2 基于规则的多样性重排 143

6.3 基于行列式点过程的重排 143

6.4 深度学习在重排中的应用 145

6.5 强化学习在重排中的应用 147

6.6 小结 149

第7 章 多目标排序在推荐系统中的应用.150

7.1 推荐系统的优化目标 151

7.2 多目标排序模型的演化关系 152

7.3 通过样本权重进行多目标优化 154

7.4 多目标排序模型 155

7.4.1 共享底层参数的多塔结构 155

7.4.2 MOE-替换共享底层参数的门控网络 158

7.4.3 MMOE-改进 MOE 的多门混合专家系统 159

7.4.4 PLE-改进 MMOE 解决“跷跷板”现象 160

7.4.5 ESMM-根据目标依赖关系建模 167

7.4.6 ESM2-改进 ESMM 解决数据稀疏性问题 170

7.4.7 DBMTL-用贝叶斯网络对目标依赖关系建模 172

7.5 多目标融合优化 174

7.5.1 基于 UWL 联合概率分布的多目标融合 174

7.5.2 帕累托多目标融合 176

7.6 多目标模型训练方式 177

7.6.1 联合训练 177

7.6.2 交替训练 178

7.7 小结 178

第8 章 推荐系统的前沿实践 180

8.1 推荐系统的应用场景 181

8.2 推荐系统的公平性问题 182

8.2.1 公平性策略-消除位置偏置和资源曝光偏置 182

8.2.2 YouTube 消除位置偏置实践 187

8.2.3 华为消除位置偏置实践--PAL 模型 188

8.2.4 360 消除用户组偏差实践--语料采样 189

8.2.5 360 多场景融合实践--偏置建模消除用户组偏差 191

8.2.6 360 实践--PID 建模消除资源曝光偏置 192

8.3 多场景融合实践 194

8.3.1 360 多场景融合实践--将场景信息作为特征加入模型 195

8.3.2 360 多场景融合实践--多塔结构学习各个场景 195

8.3.3 阿里巴巴多场景融合实践--STAR 模型多场景融合 196

8.4 知识蒸馏在推荐系统中的应用 200

8.4.1 知识蒸馏的背景 200

8.4.2 阿里巴巴广告知识蒸馏实践 201

8.4.3 阿里巴巴淘宝推荐知识蒸馏实践 203

8.4.4 爱奇艺知识蒸馏实践 205

8.5 推荐系统的冷启动问题 206

8.5.1 基于规则的冷启动过程 207

8.5.2 引入辅助信息优化 Embedding冷启动 207

8.5.3 元学习优化 Embedding冷启动 208

8.6 深度学习模型的特征选择 216

8.6.1 基于 L2 的特征选择 216

8.6.2 基于 SE Block 的特征选择 216

8.7 推荐系统的其他问题 218

8.7.1 基于 Look-alike 解决推荐系统长尾问题 218

8.7.2 正负样本不平衡实践--Focal loss 221

8.7.3 深度学习推荐系统的预训练实践 222

8.8 小结 222