Python可解释AI(XAI)实战(开发合理安全和可信的AI应用)

第1章 使用Python 解释AI.1

1.1 可解释AI 的定义2

1.1.1 从黑盒模型到XAI 白盒模型3

1.1.2 解释和阐释4

1.2 设计和提取5

1.3 医学诊断时间线中的XAI8

1.3.1 全科医生使用的标准AI 程序8

1.3.2 西尼罗河病毒——一个生死

攸关的案例15

1.3.3 Google Location History 与XAI 的

结合可以拯救生命21

1.3.4 下载Google Location History21

1.3.5 读取和显示Google Location

History25

1.3.6 用XAI 增强AI 诊断33

1.3.7 将XAI 应用于医学诊断

实验性程序38

1.4 本章小结.42

1.5 习题42

1.6 参考资料43

1.7 扩展阅读43

第2章 AI 偏差和道德方面的

白盒XAI .45

2.1 自动驾驶汽车系统AI 的

道德和偏差46

2.1.1 自动驾驶系统在生死关头是

如何做决策的47

2.1.2 电车难题47

2.1.3 麻省理工学院的道德

机器实验48

2.1.4 真实的生死攸关情景48

2.1.5 从道德伦理上解释AI 的

局限性49

2.2 对自动驾驶决策树的解释51

2.2.1 自动驾驶系统的两难困境52

2.2.2 导入模块53

2.2.3 检索数据集53

2.2.4 读取和拆分数据54

2.2.5 决策树分类器的理论描述56

2.2.6 创建默认的决策树分类器57

2.2.7 训练、测量、保存模型58

2.2.8 显示决策树60

2.3 将XAI 应用于自动驾驶

决策树62

2.4 使用XAI 和道德来控制

决策树68

2.4.1 加载模型69

2.4.2 测量准确率.69

2.4.3 模拟实时案例69

2.4.4 由噪声引起的ML 偏差70

2.4.5 将道德和法律引入ML.72

2.6 本章小结74

2.7 习题75

2.8 参考资料75

2.9 扩展阅读76

第3章 用Facets 解释ML.77

3.1 Facets 入门78

3.1.1 在Google Colaboratory

安装Facets78

3.1.2 检索数据集79

3.1.3 读取数据文件80

3.2 Facets Overview80

3.3 对Facets 统计信息进行排序82

3.3.1 按特征顺序排序83

3.3.2 按不均匀性排序83

3.3.3 按字母顺序排序86

3.3.4 按缺失值或零值的数量排序86

3.3.5 按分布距离排序87

3.4 Facets Dive88

3.4.1 构建Facets Dive 交互式界面88

3.4.2 定义数据点的标签90

3.4.3 定义数据点的颜色92

3.4.4 定义x 轴和y 轴的binning 93

3.4.5 定义散点图的x 轴和y 轴94

3.5 本章小结96

3.6 习题96

3.7 参考资料97

3.8 扩展阅读97

第4章 Microsoft Azure 机器学习

模型的可解释与SHAP 99

4.1 SHAP 简介100

4.1.1 关键的SHAP 原则100

4.1.2 Shapley 值的数学表达式102

4.1.3 情感分析示例104

4.2 SHAP 入门108

4.2.1 安装SHAP108

4.2.2 导入数据109

4.2.3 向量化数据集 115

4.3 线性模型和逻辑回归117

4.3.1 创建、训练和可视化线性模型

的输出 117

4.3.2 定义线性模型119

4.3.3 使用SHAP 实现与模型无关的

解释121

4.3.4 创建线性模型解释器121

4.3.5 添加图表功能121

4.3.6 解释模型的预测结果123

4.4 本章小结 130

4.5 习题 131

4.6 参考资料131

4.7 扩展阅读131

4.8 其他出版物 132

第5章 从零开始构建可解释AI

解决方案133

5.1 道德伦理和法律视角 134

5.2 美国人口普查数据问题 135

5.2.1 使用pandas 显示数据135

5.2.2 道德伦理视角137

5.3 机器学习视角 141

5.3.1 使用Facets Dive 显示

训练数据142

5.3.2 使用Facets Dive 分析

训练数据144

5.3.3 验证输出是否符合以上原则146

5.3.4 对输入数据进行转换153

5.4 将WIT 应用于转换后的

数据集 155

5.5 本章小结 162

5.6 习题 163

5.7 参考资料163

5.8 扩展阅读 163

第6章 用Google What-If Tool(WIT)

实现AI 的公平性165

6.1 从道德伦理视角谈AI

可解释和可阐释性 166

6.1.1 道德伦理视角166

6.1.2 法律视角.167

6.1.3 解释和阐释167

6.1.4 准备符合道德伦理的数据集168

6.2 WIT 入门170

6.2.1 导入数据集171

6.2.2 对数据进行预处理172

6.2.3 创建数据结构以训练和

测试模型174

6.3 创建DNN 模型174

6.4 创建SHAP 解释器177

6.5 模型输出与SHAP 值178

6.6 WIT 数据点浏览器和

编辑器181

6.6.1 创建WIT181

6.6.2 数据点编辑器182

6.6.3 特征186

6.6.4 性能和公平性187

6.7 本章小结193

6.8 习题193

6.9 参考资料194

6.10 扩展阅读194

第7章 可解释AI 聊天机器人 195

7.1 Dialogflow 的Python

客户端196

7.1.1 安装Google Dialogflow 的

Python 客户端197

7.1.2 创建Google Dialogflow 代理197

7.1.3 启用API 和服务200

7.1.4 实现Google Dialogflow 的

Python 客户端202

7.2 增强Google Dialogflow 的

Python 客户端205

7.2.1 创建对话函数205

7.2.2 在Dialogflow 实现XAI 的

限制206

7.2.3 在Dialogflow 创建意图206

7.2.4 XAI Python 客户端212

7.3 使用Google Dialogflow 的

CUI XAI 对话 216

7.3.1 将Dialogflow 集成到网站中216

7.3.2 Jupyter Notebook XAI 代理

管理器220

7.3.3 Google Assistant 220

7.4 本章小结 222

7.5 习题 223

7.6 扩展阅读 223

第8章 LIME225

8.1 介绍LIME 226

8.1.1 LIME 的数学表示227

8.2 开始使用LIME 229

8.2.1 在Google Colaboratory 安装

LIME230

8.2.2 检索数据集和矢量化数据集230

8.3 一个实验性的AutoML

模块 231

8.3.1 创建AutoML 模板232

8.3.2 Bagging 分类器233

8.3.3 梯度提升分类器234

8.3.4 决策树分类器234

8.3.5 极度随机树分类器235

8.4 解释分数 236

8.5 训练模型并生成预测 236

8.5.1 分类器的交互选择237

8.5.2 完成预测过程238

8.6 LIME 解释器 239

8.6.1 创建LIME 解释器240

8.6.2 阐释LIME 解释器242

8.7 本章小结247

8.8 习题248

8.9 参考资料248

8.10 扩展阅读248

第9章 反事实解释法 249

9.1 反事实解释法250

9.1.1 数据集和动机250

9.1.2 使用WIT 可视化反事实

距离251

9.1.3 使用默认视图探索数据点

距离253

9.1.4 反事实解释的逻辑258

9.2 距离函数的选项262

9.2.1 L1 范数263

9.2.2 L2 范数264

9.2.3 自定义距离函数265

9.3 深度学习模型的架构266

9.3.1 调用 WIT266

9.3.2 自定义预测函数267

9.3.3 加载 Keras 预训练模型268

9.3.4 检索数据集和模型269

9.4 本章小结270

9.5 习题270

9.6 参考资料271

9.7 扩展阅读271

第10章 对比解释法(CEM) 273

10.1 CEM274

10.2 将CEM应用于MNIST276

10.2.1 安装Alibi 并导入模块276

10.2.2 导入模块和数据集276

10.3 定义和训练CNN 模型279

10.3.1 创建CNN 模型281

10.3.2 训练CNN 模型281

10.3.3 将原始图像与解码图像

进行比较285

10.4 相关负面 287

10.4.1 CEM 参数288

10.4.2 初始化CEM解释器289

10.4.3 相关负面的解释290

10.5 本章小结 291

10.6 习题. 292

10.7 参考资料 292

10.8 扩展阅读 293

第11章 锚解释法295

11.1 锚解释法 296

11.1.1 预测收入296

11.1.2 新闻组分类299

11.2 对ImageNet 图像预测

应用锚解释法 300

11.2.1 安装Alibi 并导入其他

所需模块300

11.2.2 加载InceptionV3 模型301

11.2.3 下载图像301

11.2.4 处理图像并进行预测302

11.2.5 构建锚图像解释器303

11.2.6 解释其他类别306

11.2.7 锚解释法的局限性308

11.3 本章小结 309

11.4 习题 309

11.5 参考资料 310

11.6 扩展阅读 310

第12章 认知解释法 311

12.1 基于规则的认知解释法 312

12.1.1 从XAI 工具到XAI 概念313

12.1.2 定义认知解释法313

12.1.3 实践认知解释法315

12.1.4 特征的边际贡献319

12.2 矢量化器的认知解释法322

12.2.1 解释LIME 的矢量化器323

12.2.2 解释 IMDb 的SHAP

矢量化器325

12.3 CEM 的人类认知输入327

12.4 本章小结 331

12.5 习题 332

12.6 扩展阅读 332

习题答案333