PYTHON高性能编程(第2版)

目录

前言 xvii

第 1章　理解高性能Python 1

1.1 基本的计算机系统 1

1.1.1 计算单元 2

1.1.2 存储单元 4

1.1.3 通信层 6

1.2 综合考虑 8

1.3 为何使用Python 11

1.4 如何成为高性能程序员 13

1.4.1 *佳实践 14

1.4.2 对Notebook*佳实践的思考 15

1.4.3 重新发现工作的乐趣 16

第 2章　通过剖析找出瓶颈 17

2.1 高效地剖析 18

2.2 朱利亚集合简介 19

2.3 计算整个朱利亚集合 22

2.4 简单计时方法—print语句和装饰器 25

2.5 使用UNIX命令time的简单计时 27

2.6 使用模块cProfile 29

2.7 使用SnakeViz可视化cProfile的输出 34

2.8 使用line_profiler逐行剖析 35

2.9 使用memory_profiler诊断内存占用情况 40

2.10 使用PySpy查看既有进程 47

2.11 字节码：幕后发生的情况 48

2.11.1 使用模块dis查看CPython字节码 48

2.11.2 复杂度随方法而异 50

2.12 优化期间使用单元测试确保代码正确 52

2.13 确保代码剖析成功的策略 55

2.14 小结 56

第3章　列表和元组 57

3.1 更高效的查找方式 60

3.2 比较列表和元组 62

3.2.1 作为动态数组的列表 63

3.2.2 作为静态数组的元组 66

3.3 小结 67

第4章　字典和集合 69

4.1 字典和集合的工作原理 72

4.1.1 插入和检索 72

4.1.2 删除 76

4.1.3 调整长度 76

4.1.4 散列函数和熵 76

4.2 字典和名称空间 80

4.3 小结 83

第5章　迭代器和生成器 84

5.1 无穷数列迭代器 88

5.2 延迟执行生成器 89

5.3 小结 93

第6章　矩阵和向量计算 94

6.1 问题简介 95

6.2 Python列表不够好吗 99

6.3 内存碎片 104

6.3.1 理解perf 106

6.3.2 根据perf的输出做决策 108

6.3.3 进入numpy 108

6.4 使用numpy解决扩散问题 111

6.4.1 内存分配和就地操作 114

6.4.2 有选择地优化：找出需要修复的地方 118

6.5 numexpr：让你能够更快、更轻松地执行就地操作 121

6.6 警示故事：对优化进行验证（scipy） 122

6.7 从矩阵优化获得的经验教训 124

6.8 Pandas 126

6.8.1 Pandas的内部模型 127

6.8.2 将函数应用于多行数据 128

6.8.3 根据部分结果而不是使用拼接来创建DataFrame和Series 135

6.8.4 有多种解决问题的方式（而且可能有更快的方式） 136

6.8.5 Pandas高效开发建议 137

6.9 小结 138

第7章　编译成C代码 139

7.1 速度提升方法 140

7.2 JIT编译器和AOT编译器 141

7.3 为何类型信息有助于提高代码运行速度 142

7.4 使用C语言编译器 143

7.5 回顾朱利亚集合示例 143

7.6 Cython 144

7.7 pyximport 146

7.7.1 使用Cython标注选项来分析代码块 146

7.7.2 添加类型标注 149

7.8 Cython和numpy 152

7.9 Numba 156

7.10 PyPy 159

7.10.1 垃圾收集方面的差异 160

7.10.2 运行PyPy及安装模块 160

7.11 速度提升小结 162

7.12 各种技术的适用场景 163

7.13 图形处理单元 165

7.13.1 动态图：PyTorch 165

7.13.2 GPU基本剖析 168

7.13.3 GPU性能考虑因素 169

7.13.4 在什么情况下使用GPU 170

7.14 语言交互接口 172

7.14.1 ctypes 173

7.14.2 cffi 175

7.14.3 f2py 177

7.14.4 CPython模块 180

7.15 小结 184

第8章　异步I/O 186

8.1 异步编程简介 187

8.2 async/await的工作原理 190

8.2.1 串行爬虫 191

8.2.2 gevent 192

8.2.3 tornado 196

8.2.4 aiohttp 199

8.3 兼具CPU密集型和I/O密集型的问题 202

8.3.1 串行版 203

8.3.2 分批处理结果 204

8.3.3 完全异步 207

8.4 小结 211

第9章　模块multiprocessing 213

9.1 模块multiprocessing概述 216

9.2 使用蒙特卡罗方法估算圆周率 217

9.3 使用进程和线程估算圆周率 219

9.3.1 使用Python对象 219

9.3.2 使用Joblib而不是multiprocessing 225

9.3.3 并行系统中的随机数 229

9.3.4 使用numpy 230

9.4 查找素数 232

9.5 使用进程间通信验证素数 242

9.5.1 串行解决方案 247

9.5.2 朴素进程池解决方案 247

9.5.3 改进的朴素进程池解决方案 248

9.5.4 将Manager.Value用作标志 249

9.5.5 将Redis用作标志 251

9.5.6 将RawValue用作标志 253

9.5.7 将mmap用作标志 254

9.5.8 将mmap用作标志（终极版） 255

9.6 使用multiprocessing共享numpy数据 257

9.7 同步文件和变量访问 263

9.7.1 锁定文件 263

9.7.2 锁定值 267

9.8 小结 269

第 10章　集群和作业队列 271

10.1 集群的优点 272

10.2 集群的缺点 273

10.2.1 糟糕的集群升级策略让华尔街大牛损失4.62亿美元 274

10.2.2 Skype全球24小时中断服务 274

10.3 常见的集群设计 275

10.4 如何启动集群解决方案 276

10.5 使用集群时如何避免麻烦 276

10.6 两种集群解决方案 277

10.6.1 使用IPython Parallel为研究工作提供支持 278

10.6.2 使用Dask并行化Pandas 281

10.7 使用NSQ打造健壮的生产集群 284

10.7.1 队列 284

10.7.2 发布者/订阅者 285

10.7.3 分布式素数计算 287

10.8 其他集群工具 291

10.9 Docker 292

10.9.1 Docker的性能 292

10.9.2 Docker的优点 295

10.10 小结 296

第 11章　减少内存占用量 297

11.1 基本类型对象的开销很高 298

11.1.1 模块array可高效地存储大量的基本类型对象 299

11.1.2 使用NumExpr减少NumPy占用的内存量 302

11.2 理解集合占用的内存 305

11.3 比较字节和Unicode 307

11.4 在内存中高效地存储大量文本 307

11.5 使用scikit-learn FeatureHasher进行文本建模 315

11.6 DictVectorizer和FeatureHasher简介 316

11.7 SciPy稀疏矩阵 319

11.8 减少内存占用量的技巧 322

11.9 概率数据结构 322

11.9.1 使用1字节的莫里斯计数器实现非常接近的计数 323

11.9.2 K*小值 326

11.9.3 布隆过滤器 329

11.9.4 LogLog计数器 335

11.9.5 实例 339

第 12章　实战经验教训 342

12.1 使用特征引擎简化特征工程流水线 342

12.1.1 机器学习中的特征工程 343

12.1.2 艰巨的特征工程流水线部署任务 343

12.1.3 利用开源Python库 344

12.1.4 使用Feature-engine简化特征工程流水线的构建和部署工作 344

12.1.5 推广新的开源包 345

12.1.6 开发和维护开源库及鼓励积极投稿 346

12.2 表现出色的数据科学团队 347

12.2.1 需要多长时间 347

12.2.2 探索和规划 348

12.2.3 管理预期和交付 349

12.3 Numba 350

12.3.1 一个简单的示例 350

12.3.2 *佳实践和建议 352

12.3.3 寻求帮助 355

12.4 优化和思维 356

12.5 Adaptive Lab的社交媒体分析（2014） 358

12.5.1 Adaptive Lab的Python使用情况 358

12.5.2 SoMA的设计 358

12.5.3 开发方法 359

12.5.4 维护SoMA 359

12.5.5 给同行的建议 360

12.6 RadimRehurek网站如何让深度学习快步如飞（2014） 360

12.6.1 管用的策略 360

12.6.2 优化方面的经验教训 362

12.6.3 结语 364

12.7 Lyst网站可用于生产环境的大规模机器学习（2014） 364

12.7.1 集群设计 364

12.7.2 发展迅猛的初创公司中的代码迭代 365

12.7.3 构建推荐引擎 365

12.7.4 报告和监控 365

12.7.5 一些建议 366

12.8 Smesh的大规模社交媒体分析（2014） 366

12.8.1 Python在Smesh中扮演的角色 366

12.8.2 平台 367

12.8.3 实时高性能字符串匹配 367

12.8.4 报告、监控、调试和部署 368

12.9 使用PyPy成功地实现Web和数据处理系统（2014） 369

12.9.1 使用的工具 370

12.9.2 数据库 370

12.9.3 Web应用 371

12.9.4 OCR和翻译 371

12.9.5 任务分配和任务队列 371

12.9.6 结语 372

12.10 Lanyrd的任务队列（2014） 372

12.10.1 Python在Lanyrd扮演的角色 372

12.10.2 让任务队列表现出色 373

12.10.3 报告、监控、调试和部署 373

12.10.4 给同行的建议 373