联邦学习:算法详解与系统实现

前言 **部分 联邦学习基础知识 第 1 章 联邦学习概述 2 1.1 什么是联邦学习 2 1.1.1 联邦学习的发展历史 3 1.1.2 联邦学习的工作流程 4 1.1.3 联邦学习的分类 6 1.2 联邦学习的应用和挑战 8 1.2.1 联邦学习的应用现状 8 1.2.2 联邦学习的核心挑战 9 1.3 分布式机器学习与联邦学习 10 1.3.1 分布式机器学习的发展历史 10 1.3.2 分布式机器学习概述 11 1.3.3 分布式机器学习与联邦学习的共同发展 13 1.4 总结 14 第 2 章 联邦学习应用场景 15 2.1 联邦学习与金融 15 2.2 联邦学习与生物医学 17 2.3 联邦学习与计算机视觉 19 2.4 联邦学习与自然语言处理 22 2.5 联邦学习与边缘计算和云计算 25 2.6 联邦学习与计算机硬件 27 2.7 总结 29 第 3 章 常用隐私保护技术 30 3.1 面向隐私保护的机器学习 30 3.1.1 概述 30 3.1.2 面向隐私保护的机器学习发展 33 3.2 常用的隐私保护技术 34 3.2.1 差分隐私 34 3.2.2 安全多方计算 41 3.2.3 同态加密 49 3.3 总结 66 第二部分 联邦学习算法详述 第 4 章 纵向联邦树模型算法 68 4.1 树模型简介 68 4.2 纵向联邦随机森林算法 69 4.2.1 算法结构 69 4.2.2 算法详述 70 4.2.3 安全性分析 71 4.3 纵向联邦梯度提升算法 75 4.3.1 XGBoost 算法 76 4.3.2 SecureBoost 算法 76 4.3.3 所提算法详述 77 4.4 总结 78 第 5 章 纵向联邦线性回归算法 79 5.1 纵向联邦线性回归 80 5.1.1 算法训练过程 81 5.1.2 算法预测过程 81 5.1.3 纵向联邦的一个困境 82 5.2 联邦多视角线性回归 82 5.2.1 基于 BFGS 的二阶优化方法 84 5.2.2 安全计算协议 87 5.3 总结 92 第 6 章 纵向联邦核学习算法 93 6.1 引言 93 6.2 双随机核方法 95 6.2.1 问题定义 95 6.2.2 核方法的简要介绍 96 6.2.3 随机傅里叶特征近似 98 6.2.4 双随机梯度 98 6.3 所提算法 99 6.3.1 问题表示 100 6.3.2 算法结构 100 6.3.3 算法设计 101 6.3.4 场景案例 103 6.4 理论分析 105 6.4.1 收敛性分析 105 6.4.2 安全性分析 105 6.4.3 复杂度分析 106 6.5 实验验证 106 6.5.1 实验设置 106 6.5.2 实验结果和讨论 107 6.6 总结 110 第 7 章 异步纵向联邦学习算法 111 7.1 引言 111 7.2 相关工作 112 7.2.1 现有工作概述 112 7.2.2 SGD 类算法回顾 113 7.3 问题表示 114 7.4 所提算法 114 7.4.1 算法框架 114 7.4.2 算法详述 116 7.4.3 场景案例 119 7.5 理论分析 120 7.5.1 收敛性分析 120 7.5.2 安全性分析 123 7.5.3 复杂度分析 124 7.6 实验验证 125 7.6.1 实验设置 125 7.6.2 实验结果和讨论 127 7.7 总结