密态深度学习

第1章 绪论 1

1.1　大数据　1

1.1.1　引言　1

1.1.2　概念　1

1.1.3　发展与应用　2

1.1.4　大数据关键技术　4

1.2　数据挖掘　6

1.2.1　引言　6

1.2.2　概念　7

1.2.3　发展与应用　7

1.2.4　数据挖掘相关技术　8

1.3　人工智能　9

1.3.1　引言　9

1.3.2　概念　9

1.3.3　发展与应用　10

1.3.4　人工智能关键技术　11

1.4　数据安全与网络安全　13

1.4.1　引言　13

1.4.2　概念　13

1.4.3　面临的威胁　14

1.4.4　安全技术　15

1.5　数据挖掘面临的隐私问题　17

1.5.1　数据的过度采集　17

1.5.2　个人信息的滥用　17

1.5.3　数据的融合问题　17

1.6　人工智能面临的隐私问题　18

1.6.1　数据泄露带来的隐私风险　18

1.6.2　人工智能算法引发的隐私风险　18

1.6.3　人工智能的发展导致的安全威胁　19

1.6.4　模型提取攻击导致的安全威胁　19

1.7　本章小结　19



第2章　基础知识　22

2.1　深度学习　22

2.1.1　AdaBoost　22

2.1.2　XGBoost　24

2.1.3　联邦学习　25

2.1.4　全连接神经网络　28

2.1.5　深度神经网络　29

2.1.6　卷积神经网络　31

2.1.7　递归神经网络　33

2.2　同态加密　37

2.2.1　群、环、域　37

2.2.2　公钥密码体制的困难问题　40

2.2.3　加法同态Paillier算法　41

2.2.4　乘法同态RSA算法　42

2.2.5　全同态加密算法　43

2.3　基于安全多方计算的密态计算　44

2.3.1　基于秘密共享的密态计算　44

2.3.2　基于混淆电路的密态计算　46

2.4　基于可信执行环境的密态计算　46

2.5　差分隐私　47

2.6　本章小结　49



第3章　基于AdaBoost的密态计算　54

3.1　背景介绍　54

3.2　研究现状　55

3.3　问题描述　56

3.3.1　系统模型　56

3.3.2　攻击模型　57

3.4　基于秘密共享的安全协议　57

3.4.1　数据存储格式　58

3.4.2　指数的安全匹配　58

3.4.3　改进的安全自然指数协议　59

3.4.4　改进的安全自然对数协议　60

3.5　模型构造　61

3.5.1　AdaBoost的FSA　62

3.5.2　弱分类器的线性加法　64

3.5.3　多分类扩展　65

3.6　理论分析　66

3.6.1　POR的正确性分析　66

3.6.2　POR的安全性分析　67

3.7　性能评估　68

3.7.1　POR的性能　68

3.7.2　改进的安全自然指数协议和安全自然对数协议的性能　71

3.8　本章小结　74



第4章　联邦极端梯度增强的密态计算　76

4.1　背景介绍　76

4.2　研究现状　77

4.3　问题描述　78

4.3.1　系统模型　78

4.3.2　安全模型　79

4.4　模型构造　80

4.4.1　FEDXGB概述　80

4.4.2　SecAgg　81

4.4.3　SecBoost　82

4.4.4　SecFind　84

4.4.5　用户退出的鲁棒性　85

4.5　安全性分析　85

4.5.1　SecAgg的安全性　85

4.5.2　FEDXGB的安全性　86

4.6　性能评估　87

4.6.1　实验配置　88

4.6.2　FEDXGB性能评估　88

4.6.3　SecAgg效率分析　89

4.7　本章小结　92



第5章　隐私保护联邦K-means　95

5.1　背景介绍　95

5.2　研究现状　97

5.3　问题描述　98

5.3.1　系统模型　99

5.3.2　安全模型　100

5.4　模型构建　100

5.4.1　PFK-means概述　100

5.4.2　PFK-means方案　102

5.4.3　安全系统设置　104

5.4.4　簇心更新　105

5.5　理论分析　110

5.5.1　复杂度分析　110

5.5.2　安全分析　111

5.6　性能评估　113

5.6.1　实验设置　113

5.6.2　效用评估　113

5.6.3　实验分析　114

5.6.4　安全性和实用性比较　116

5.7　本章小结　117



第6章　基于同态加密的密态神经网络训练　121

6.1　背景介绍　121

6.2　研究现状　123

6.3　问题描述　124

6.3.1　系统模型　124

6.3.2　安全模型　125

6.4　HNN方案构造　125

6.4.1　全连接层　126

6.4.2　ReLU层　127

6.4.3　Softmax层　127

6.4.4　安全反向传播　128

6.5　安全性分析　130

6.6　性能评估　131

6.7　本章小结　134



第7章　基于卷积神经网络的密态计算　137

7.1　背景介绍　137

7.2　研究现状　138

7.3　问题描述　139

7.3.1　系统模型　139

7.3.2　安全模型　141

7.3.3　设计目标　141

7.4　模型构造　141

7.4.1　安全加减法协议　142

7.4.2　安全乘法协议　142

7.4.3　安全比较协议　143

7.4.4　矢量化　146

7.4.5　面向移动感知的轻量级隐私保护卷积神经网络特征提取　146

7.5　理论分析　151

7.5.1　正确性　151

7.5.2　安全性　152

7.5.3　有效性　153

7.6　性能评估　154

7.6.1　安全比较协议的性能　154

7.6.2　面向移动感知的轻量级隐私保护卷积神经网络特征提取的

性能　155

7.7　本章小结　159



第8章　基于LSTM网络的密态计算　163

8.1　背景介绍　163

8.2　研究现状　164

8.3　问题描述　165

8.3.1　系统模型　165

8.3.2　安全模型　166

8.4　模型构造　166

8.4.1　基于秘密共享的安全函数　166

8.4.2　面向加密音频特征的隐私保护LSTM网络　171

8.5　理论分析　179

8.5.1　OPSR的正确性　179

8.5.2　OPSR的安全性　180

8.6　性能评估　181

8.6.1　OPSR的性能　181

8.6.2　保密LSTM网络交互协议的性能　184

8.7　本章小结　186