推荐系统开发实战

第1篇 推荐系统的背景介绍和入门 ∣ 第1章 走进推荐系统 2 1.1 从“啤酒与尿布”到推荐系统的前世今生 2 ∣1.1.1 “啤酒与尿布” 2 ∣1.1.2 推荐系统的前世今生 2 1.2 推荐系统可以做什么 4 ∣1.2.1 什么是推荐系统 4 ∣1.2.2 在电商类产品中的应用 5 ∣1.2.3 在社交类产品中的应用 6 ∣1.2.4 在音乐类产品中的应用 8 ∣1.2.5 在视频类产品中的应用 9 ∣1.2.6 在阅读类产品中的应用 10 ∣1.2.7 在服务类产品中的应用 11 1.3 学习本书需要的技能 12 ∣1.3.1 Python基础 12 ∣1.3.2 数据结构 14 ∣1.3.3 工程能力 15 1.4 如何学习本书 17 1.5 知识导图 17 第2章 搭建你的**个推荐系统 19 2.1 实例1：搭建电影推荐系统 19 ∣2.1.1 利用Netflix数据集准备数据 19 ∣2.1.2 使用Python表示数据 21 ∣2.1.3 选择相似用户 23 ∣2.1.4 为用户推荐相似用户喜欢的电影 24 ∣2.1.5 分析效果 25 2.2 总结：搭建推荐系统的一般步骤 26 ∣2.2.1 准备数据 26 ∣2.2.2 选择算法 27 ∣2.2.3 模型训练 28 ∣2.2.4 效果评估 28 2.3 知识导图 28 第3章 推荐系统常用数据集介绍 29 3.1 MovieLens数据集 29 ∣3.1.1 README 29 ∣3.1.2 ratings.dat 29 ∣3.1.3 movies.dat 31 ∣3.1.4 users.dat 34 3.2 Book-Crossings数据集 36 ∣3.2.1 BX-Book-Ratings.csv 37 ∣3.2.2 BX-Books.csv 39 ∣3.2.3 BX-Users.csv 39 3.3 Last.fm数据集 41 ∣3.3.1 README 41 ∣3.3.2 artists.dat 41 ∣3.3.3 tags.dat 41 ∣3.3.4 user_artists.dat 42 ∣3.3.5 user_friends.dat 42 ∣3.3.6 uses_taggedartists.dat 42 ∣3.3.7 user_taggedartists-timestamps.dat 42 3.4 FourSquare数据集 43 ∣3.4.1 users.dat 43 ∣3.4.2 venues.dat 44 ∣3.4.3 checkins.dat 44 ∣3.4.4 socialgraph.dat 44 ∣3.4.5 ratings.dat 45 3.5 Kaggle比赛之retailrocket 数据集 46 ∣3.5.1 events.csv 47 ∣3.5.2 category_tree.csv 49 ∣3.5.3 item_properties.csv 49 3.6 场景分析 49 3.7 知识导图 50 ∣ ===第2篇 推荐系统涉及的算法介绍、冷启动和效果评估 ∣ 第4章 数据挖掘——让推荐系统更懂你 52 4.1 数据预处理 52 ∣4.1.1 数据标准化 52 ∣4.1.2 实例2：实现数据的标准化 54 ∣4.1.3 数据离散化 56 ∣4.1.4 实例3：基于信息熵的数据离散化 58 ∣4.1.5 数据抽样 61 ∣4.1.6 数据降维 63 ∣4.1.7 实例4：对鸢尾花数据集特征进行降维 66 ∣4.1.8 数据清理 68 ∣4.1.9 相似度计算 71 4.2 数据分类 74 ∣4.2.1 K*近邻算法 74 ∣4.2.2 实例5：利用KNN算法实现性别判定 75 ∣4.2.3 决策树算法 77 ∣4.2.4 实例6：构建是否举办活动的决策树 80 ∣4.2.5 朴素贝叶斯算法 84 ∣4.2.6 实例7：基于朴素贝叶斯算法进行异常账户检测 87 ∣4.2.7 分类器的评估 90 ∣4.2.8 实例8：scikit-learn中的分类效果评估 92 4.3 数据聚类 92 ∣4.3.1 kMeans算法 92 ∣4.3.2 实例9：基于kMeans算法进行商品价格聚类 95 ∣4.3.3 二分-kMeans算法 98 ∣4.3.4 实例10：基于二分-kMeans算法进行商品价格聚类 99 ∣4.3.5 聚类算法的评估 100 ∣4.3.6 实例11：scikit-learn中的聚类效果评估 102 4.4 关联分析 103 ∣4.4.1 Apriori算法 103 ∣4.4.2 实例12：基于Apriori算法实现频繁项集和相关规则挖掘 106 4.5 知识导图 110 ∣ 第5章 基于用户行为特征的推荐 111 5.1 用户行为分类 111 5.2 基于内容的推荐算法 112 ∣5.2.1 算法原理——从“构造特征”到“判断用户是否喜欢” 112 ∣5.2.2 实例13：对手机属性进行特征建模 115 5.3 实例14：编写一个基于内容推荐算法的电影推荐系统 117 ∣5.3.1 了解实现思路 117 ∣5.3.2 准备数据 119 ∣5.3.3 选择算法 122 ∣5.3.4 模型训练 122 ∣5.3.5 效果评估 123 5.4 基于近邻的推荐算法 124 ∣5.4.1 UserCF算法的原理——先“找到相似同户”，再“找到他们喜欢的物品” 124 ∣5.4.2 ItemCF算法的原理——先“找到用户喜欢的物品”，再“找到喜欢物品的相似物品” 131 5.5 实例15：编写一个基于UserCF算法的电影推荐系统 137 ∣5.5.1 了解实现思路 138 ∣5.5.2 准备数据 138 ∣5.5.3 选择算法 138 ∣5.5.4 模型训练 138 ∣5.5.5 效果评估 141 5.6 实例16：编写一个基于ItemCF算法的电影推荐系统 141 ∣5.6.1 了解实现思路 141 ∣5.6.2 准备数据 142 ∣5.6.3 选择算法 142 ∣5.6.4 模型训练 142 ∣5.6.5 效果评估 144 5.7 对比分析：UserCF算法和ItemCF算法 145 5.8 对比分析：基于内容和基于近邻 146 5.9 基于隐语义模型的推荐算法 147 ∣5.9.1 LFM概述 147 ∣5.9.2 LFM算法理解 148 ∣5.10 实例17：编写一个基于LFM的电影推荐系统 152 ∣5.10.1 了解实现思路 152 ∣5.10.2 准备数据 152 ∣5.10.3 选择算法 154 ∣5.10.4 模型训练 155 ∣5.10.5 效果评估 158 5.11 知识导图 159 ∣ 第6章 基于标签的推荐 161 6.1 基于标签系统的应用 161 ∣6.1.1 Last.fm 161 ∣6.1.2 Delicious 162 ∣6.1.3 豆瓣 163 ∣6.1.4 网易云音乐 163 6.2 数据标注与关键词提取 165 ∣6.2.1 推荐系统中的数据标注 165 ∣6.2.2 推荐系统中的关键词提取 167 ∣6.2.3 标签的分类 168 6.3 实例18：基于TF-IDF算法提取商品标题的关键词 169 ∣6.3.1 了解TF-IDF算法 169 ∣6.3.2 认识商品标题描述 170 ∣6.3.3 提取关键词 170 6.4 基于标签的推荐系统 174 ∣6.4.1 标签评分算法 174 ∣6.4.2 标签评分算法改进 176 ∣6.4.3 标签基因 177 ∣6.4.4 用户兴趣建模 177 6.5 实例19：利用标签推荐算法实现艺术家的推荐 178 ∣6.5.1 了解实现思路 178 ∣6.5.2 准备数据 178 ∣6.5.3 选择算法 179 ∣6.5.4 模型训练 179 ∣6.5.5 效果评估 182 6.6 知识导图 182 ∣ 第7章 基于上下文的推荐 184 7.1 基于时间特征的推荐 184 ∣7.1.1 时间效应介绍 184 ∣7.1.2 时间效应分析 187 ∣7.1.3 推荐系统的实时性 194 ∣7.1.4 协同过滤中的时间因子 195 7.2 实例20：实现一个“增加时间衰减函数的协同过滤算法” 197 ∣7.2.1 在UserCF算法中增加时间衰减函数 197 ∣7.2.2 在ItemCF算法中增加时间衰减函数 199 7.3 基于地域和热度特征的推荐 200 ∣7.3.1 为什么要将地域和热度特征放在一起 201 ∣7.3.2 解读LARS中的地域特征 202 ∣7.3.3 基于地域和热度的推荐算法 204 7.4 实例21：创建一个基于地域和热度的酒店推荐系统 206 ∣7.4.1 了解实现思路 206 ∣7.4.2 准备数据 207 ∣7.4.3 选择算法 207 ∣7.4.4 模型训练 207 ∣7.4.5 效果评估 210 ∣7.5 其他上下文信息 210 7.6 知识导图 210 ∣ 第8章 基于点击率预估的推荐 212 8.1 传统推荐算法的局限和应用 212 ∣8.1.1 传统推荐算法的局限 212 ∣8.1.2 传统推荐算法的应用 213 8.2 点击率预估在推荐系统中的应用 214 8.3 集成学习 214 ∣8.3.1 集成学习概述 215 ∣8.3.2 Boosting算法(提升法) 215 ∣8.3.3 Bagging算法(自助法) 216 ∣8.3.4 Stacking算法(融合法) 217 8.4 导数、偏导数、方向导数、梯度 217 ∣8.4.1 导数 217 ∣8.4.2 偏导数 217 ∣8.4.3 方向导数 218 ∣8.4.4 梯度 219 ∣8.4.5 梯度下降 219 8.5 GBDT算法 222 ∣8.5.1 Gradient Boosting方法 223 ∣8.5.2 决策树 223 ∣8.5.3 GBDT算法的原理 224 8.6 实例22：基于GBDT算法预估电信客户流失 227 ∣8.6.1 了解实现思路 227 ∣8.6.2 准备数据 229 ∣8.6.3 选择算法 232 ∣8.6.4 模型训练 232 ∣8.6.5 效果评估 234 8.7 回归分析 236 ∣8.7.1 什么是回归分析 236 ∣8.7.2 回归分析算法分类 236 ∣8.8 Logistic Regression算法 237 ∣8.8.1 Sigmoid函数 237 ∣8.8.2 LR为什么要使用Sigmoid函数 239 ∣8.8.3 LR的算法原理分析 240 8.9 实例23：基于LR算法预估电信客户流失 241 ∣8.9.1 准备数据 242 ∣8.9.2 选择算法 242 ∣8.9.3 模型训练 242 ∣8.9.4 效果评估 243 8.10 GBDT+LR的模型融合 245 ∣8.10.1 GBDT+LR模型融合概述 245 ∣8.10.2 为什么选择GBDT和LR进行模型融合 246 ∣8.10.3 GBDT+LR模型融合的原理 246 8.11 实例24：基于GBDT和LR算法预估电信客户流失 247 ∣8.11.1 准备数据 247 ∣8.11.2 选择算法 247 ∣8.11.3 模型训练 247 ∣8.11.4 效果评估 248 8.12 知识导图 251 ∣ 第9章 推荐系统中的冷启动 252 9.1 冷启动介绍 252 ∣9.1.1 冷启动的分类 252 ∣9.1.2 冷启动的几种实现方法 252 9.2 基于热门数据推荐实现冷启动 253 9.3 利用用户注册信息实现冷启动 254 ∣9.3.1 注册信息分析 254 ∣9.3.2 实例25：分析Book-Crossings数据集中的共性特征 255 ∣9.3.3 实现原理 261 9.4 利用用户上下文信息实现冷启动 261 ∣9.4.1 设备信息特征 262 ∣9.4.2 时间地域信息特征 262 ∣9.4.3 实现原理 262 9.5 利用第三方数据实现冷启动 263 9.6 利用用户和系统之间的交互实现冷启动 263 ∣9.6.1 实现原理 263 ∣9.6.2 推荐系统中实时交互的应用 265 ∣9.6.3 实例26：用户实时交互推荐系统设计 266 9.7 利用物品的内容属性实现冷启动 267 ∣9.7.1 物品内容属性分析 267 ∣9.7.2 物品信息的使用 268 9.8 利用专家标注数据实现冷启动 269 9.9 知识导图 270 ∣ 第10章 推荐系统中的效果评估 271 10.1 用户调研 271 10.2 在线评估 272 10.3 在线实验方式——ABTest 272 ∣10.3.1 ABTest介绍 272 ∣10.3.2 ABTest流程 272 ∣10.3.3 ABTest的注意事项 273 10.4 在线评估指标 274 ∣10.4.1 点击率 275 ∣10.4.2 转化率 275 ∣10.4.3 网站成交额 275 10.5 离线评估 276 10.6 拆分数据集 276 ∣10.6.1 留出法 277 ∣10.6.2 K-折交叉验证法 277 ∣10.6.3 自助法 277 ∣10.6.4 实例27：使用sklearn包中的train_test_split()函数进行数据集拆分 278 ∣10.6.5 实例28：使用sklearn包中的KFold()函数产生交叉验证数据集 280 ∣10.6.6 实例29：使用sklearn包中的cross_validate()函数演示交叉验证 281 10.7 离线评估指标 282 ∣10.7.1 准确度指标之预测分类准确度指标 282 ∣10.7.2 实例30：使用sklearn包中的metrics类预测分类准确度 288 ∣10.7.3 准确度指标之预测评分准确度指标 290 ∣10.7.4 实例31：使用sklearn包中的metrics类预测评分准确度 290 ∣10.7.5 准确度指标之预测评分关联指标 291 ∣10.7.6 准确度指标之排序准确度指标 292 ∣10.7.7 非准确度指标 292 10.8 知识导图 296 ∣ ===第3篇 推荐系统实例 ∣第11章 实例32：搭建一个新闻推荐系统 298 11.1 准备数据 298 11.2 预处理数据 298 ∣11.2.1 原始数据加工 298 ∣11.2.2 新闻热度值计算 299 ∣11.2.3 新闻相似度计算 300 ∣11.2.4 指定标签下的新闻统计 302 11.3 设计架构 303 11.4 实现系统 304 ∣11.4.1 准备环境 304 ∣11.4.2 实现后端接口 304 ∣11.4.3 实现前端界面 309 ∣11.4.4 系统演示 309 11.5 代码复现 311 ∣11.5.1 安装依赖 311 ∣11.5.2 数据入库 312 ∣11.5.3 修改配置 312 ∣11.5.4 项目启动 312 11.6 知识导图 312 ∣ 第12章 实例33：搭建一个音乐推荐系统 314 12.1 准备数据 314 12.2 预处理数据 314 ∣12.2.1 计算歌曲、歌手、用户相似度 314 ∣12.2.2 计算用户推荐集 315 ∣12.2.3 数据导入数据库 319 12.3 设计架构 321 12.4 实现系统 322 ∣12.4.1 准备环境 322 ∣12.4.2 实现后端接口 322 ∣12.4.3 实现前端界面 324 ∣12.4.4 系统演示 324 12.5 代码复现 327 ∣12.5.1 安装依赖 327 ∣12.5.2 数据入库 327 ∣12.5.3 修改配置 327 ∣12.5.4 项目启动 328 12.6 知识导图 328 ∣ 第13章 实例34：搭建一个图书推荐系统 329 13.1 准备数据 329 13.2 预处理数据 329 ∣13.2.1 原始数据加工 329 ∣13.2.2 数据导入数据库 331 ∣13.2.3 模型准备 331 13.3 设计架构 332 13.4 实现系统 333 ∣13.4.1 准备环境 333 ∣13.4.2 实现后端接口 333 ∣13.4.3 实现前端界面 336 ∣13.4.4 系统演示 336 13.5 代码复现 338 13.6 知识导图 338 ∣ 第14章 业界推荐系统架构介绍 340 14.1 概述 340 14.2 架构介绍 340 14.3 召回内容 342 14.4 计算排序 343 ∣14.4.1 特征工程 343 ∣14.4.2 特征分类 343 ∣14.4.3 排序算法 343 14.5 物品过滤和展示 344 ∣14.5.1 物品过滤 344 ∣14.5.2 物品展示 344 14.6 效果评估 344 14.7 知识导图 345