包邮用户画像:方法论与工程化解决方案:methodology and engineering solutions

前言 第1章　用户画像基础1 1.1　用户画像是什么1 1.1.1　画像简介1 1.1.2　标签类型3 1.2　数据架构4 1.3　主要覆盖模块5 1.4　开发阶段流程7 1.4.1　开发上线流程7 1.4.2　各阶段关键产出9 1.5　画像应用的落地10 1.6　某用户画像案例11 1.6.1　案例背景介绍11 1.6.2　相关元数据12 1.6.3　画像表结构设计16 1.7　定性类画像21 1.8　本章小结22 第2章　数据指标体系23 2.1　用户属性维度23 2.1.1　常见用户属性23 2.1.2　用户性别26 2.2　用户行为维度27 2.3　用户消费维度27 2.4　风险控制维度29 2.5　社交属性维度30 2.6　其他常见标签划分方式31 2.7　标签命名方式33 2.8　本章小结34 第3章　标签数据存储35 3.1　Hive存储35 3.1.1　Hive数据仓库35 3.1.2　分区存储37 3.1.3　标签汇聚39 3.1.4　ID-MAP41 3.2　MySQL存储45 3.2.1　元数据管理45 3.2.2　监控预警数据47 3.2.3　结果集存储47 3.3　HBase存储50 3.3.1　HBase简介50 3.3.2　应用场景52 3.3.3　工程化案例52 3.4　Elasticsearch存储59 3.4.1　Elasticsearch简介59 3.4.2　应用场景60 3.4.3　工程化案例64 3.5　本章小结67 第4章　标签数据开发69 4.1　统计类标签开发69 4.1.1　近30日购买行为标签案例70 4.1.2　*近来访标签案例73 4.2　规则类标签开发74 4.2.1　用户价值类标签案例75 4.2.2　用户活跃度标签案例79 4.3　挖掘类标签开发84 4.3.1　案例背景84 4.3.2　特征选取及开发85 4.3.3　文本分词处理86 4.3.4　数据结构处理89 4.3.5　文本TF-IDF权重90 4.3.6　朴素贝叶斯分类92 4.4　流式计算标签开发95 4.4.1　流式标签建模框架95 4.4.2　Kafka简介96 4.4.3　Spark Streaming集成Kafka97 4.4.4　标签开发及工程化99 4.5　用户特征库开发104 4.5.1　特征库规划105 4.5.2　数据开发107 4.5.3　其他特征库规划111 4.6　标签权重计算112 4.6.1　TF-IDF词空间向量112 4.6.2　时间衰减系数114 4.6.3　标签权重配置115 4.7　标签相似度计算116 4.7.1　案例场景116 4.7.2　数据开发118 4.8　组合标签计算122 4.8.1　应用场景122 4.8.2　数据计算123 4.9　数据服务层开发124 4.9.1　推送至营销系统125 4.9.2　接口调用服务127 4.10　GraphX图计算用户129 4.10.1　图计算理论及应用场景129 4.10.2　数据开发案例132 4.11　本章小结135 第5章　开发性能调优137 5.1　数据倾斜调优137 5.2　合并小文件141 5.3　缓存中间数据143 5.4　开发中间表144 5.5　本章小结145 第6章　作业流程调度146 6.1　crontab命令调度146 6.2　Airflow工作平台148 6.2.1　基础概念149 6.2.2　Airflow服务构成150 6.2.3　Airflow安装151 6.2.4　主要模块功能151 6.2.5　工作流调度155 6.2.6　脚本实例155 6.2.7　常用命令行158 6.2.8　工程化调度方案158 6.3　数据监控预警161 6.3.1　标签监控预警161 6.3.2　服务层预警162 6.4　ETL异常排查164 6.5　本章小结166 第7章　用户画像产品化167 7.1　即时查询167 7.2　标签视图与标签查询169 7.3　元数据管理171 7.4　用户分群功能173 7.5　人群分析功能175 7.6　本章小结177 第8章　用户画像应用178 8.1　经营分析178 8.1.1　商品分析178 8.1.2　用户分析179 8.1.3　渠道分析180 8.1.4　漏斗分析185 8.1.5　客服话术186 8.1.6　人群特征分析186 8.2　精准营销187 8.2.1　短信/邮件营销187 8.2.2　效果分析188 8.3　个性化推荐与服务189 8.4　本章小结190 第9章　实践案例详解191 9.1　风控反欺诈预警191 9.1.1　应用背景191 9.1.2　用户画像切入点192 9.2　A/B人群效果测试193 9.2.1　案例背景194 9.2.2　用户画像切入点194 9.2.3　效果分析195 9.3　用户生命周期划分与营销195 9.3.1　生命周期划分196 9.3.2　不同阶段的用户触达策略201 9.3.3　画像在生命周期中的应用204 9.3.4　应用案例206 9.4　高价值用户实时营销209 9.4.1　项目应用背景209 9.4.2　用户画像切入点209 9.4.3　HBase应用场景小结209 9.5　短信营销用户211 9.5.1　案例背景211 9.5.2　画像切入及其应用效果211 9.6　Session行为分析应用213 9.6.1　关于用户行为分析213 9.6.2　案例背景218 9.6.3　特征构建219 9.6.4　分析方法与结论221 9.7　人群效果监测报表搭建228 9.7.1　案例背景228 9.7.2　逻辑梳理228 9.7.3　自动报表邮件237 9.8　基于用户特征库筛选目标人群239 9.8.1　案例背景239 9.8.2　应用方式及效果240 9.9　本章小结241 附录　某产品用户画像项目规划文档242