包邮并行计算

目录前言第1章 MPI 简介I 11.1 矩阵向量乘法的顺序实现 21.2 矩阵向量乘法的并行算法 41.3 矩阵向量乘法并行算法的程序实现 41.3.1 并行编程的模型和技术 41.3.2 MPI基础——一个简单的测试程序 51.3.3 从文件读取输入参数并分配至各个进程 61.3.4 进程间消息发送与接收的基本函数：Send和Recv 81.3.5 集体通信函数：Bcast.121.3.6 从文件读取矩阵并分配至各个进程 131.3.7 从文件读取向量并分配至各个进程 151.3.8 矩阵与向量的并行乘法 161.3.9 将不同进程中的数组片段汇集成完整数组 171.3.10 使用Probe函数优化信息收集 181.3.11 集体通信函数Gather和Scatter 211.4 适用于任意数量进程的推广程序 231.5 优化程序实现的可能方法 281.5.1 一个优化程序的例子 281.5.2 消息传递函数：Bsend和Rsend 29第2章 MPI简介II 302.1 向量标量积计算的顺序程序 302.2 计算向量标量积的并行算法 312.3 向量标量积并行算法的编程实现 322.3.1 基本代码的实现 322.3.2 集体通信函数：Reduce和Allreduce 362.4 转置矩阵与向量相乘的并行算法 372.5 转置矩阵与向量相乘的并行算法的程序实现 382.5.1 其他集体通信函数 412.6 阶段总结 42第3章 求解线性代数方程组的共轭梯度法的并行算法实现 433.1 共轭梯度法的顺序实现 443.2 共轭梯度法的并行实现 463.2.1 进程中计算数据的准备 463.2.2 计算部分 523.2.3 本章并行算法实现的优缺点分析 553.3 共轭梯度法的简化并行实现 56第4章 并行程序的效率和可扩展性 604.1 阿姆达尔定律 604.1.1 第3章中并行算法的理论分析 614.2 第3章中并行算法在程序实现中的实际加速 634.2.1 测量并行程序运行时间的方法 634.2.2 测试并行程序所用多处理器系统的特性 644.2.3 测试计算结果 654.3 并行程序的效率和扩展性分析 674.4 提高效率和扩展性的策略 69第5章 使用进程组和通信器进行操作.715.1 基于二维块划分的矩阵与向量相乘的并行算法 715.2 基于二维块划分的转置矩阵与向量相乘的并行算法 745.3 进程组和通信器 755.3.1 进程组操作 755.3.2 通信器操作 775.4 基于二维块划分的共轭梯度法的高级并行实现 815.4.1 进程中计算数据的准备 815.4.2 计算部分 945.5 并行程序的效率和可扩展性评估 985.6 本章并行程序实现的优缺点分析 100第6章 虚拟拓扑 1016.1 虚拟拓扑结构 1016.1.1 基于笛卡儿拓扑的基本函数 1016.1.2 进程间消息传递函数：Sendrecv和Sendrecv_replace 1066.2 基于二维环形虚拟拓扑的共轭梯度法并行实现.1096.2.1 进程中计算数据的准备 1106.2.2 计算部分 1166.3 并行程序的效率和可扩展性评估 1216.4 本章并行程序实现的优缺点分析 123第7章 求解三对角线性代数方程组的追赶法 1247.1 追赶法的顺序实现 1247.2 追赶法的并行版本 1267.2.1 并行算法的理论分析 1317.3 追赶法的并行实现 1327.3.1 进程中计算数据的准备 1327.3.2 计算部分 135第8章 求解偏微分方程的算法并行化方法：I 1408.1 基于显式格式的偏微分方程解的顺序算法 1408.2 顺序算法的程序实现.1428.3 基于显式格式的并行算法 1448.4 并行算法的代码实现 1468.5 并行程序的效率和可扩展性评估 1528.6 改进方案的实施 154第9章 求解偏微分方程的算法并行化方法：II 1559.1 基于隐式格式的偏微分方程问题的顺序算法 1559.2 顺序算法的程序实现 1589.3 基于隐式格式的并行算法 1629.4 并行算法的程序实现 1659.5 并行程序的效率和可扩展性评估 173第10章 求解偏微分方程的算法并行化方法：III 17510.1 基于二维空间显式格式的偏微分方程问题的顺序算法 17510.2 顺序算法的程序实现 17810.3 基于显式格式的并行算法 18110.4 并行算法的程序实现 18410.5 并行程序的效率与可扩展性评估 19410.6 关于程序实现的改进方法的讨论 195第11章 异步操作 19711.1 死锁问题与顺序消息交换替代同步交换 19711.2 进程间非阻塞消息传递函数：Isend和Irecv 20111.3 在计算过程中进行消息传递 204第12章 延迟的交互请求 20912.1 结构相同的数据的多次转移 20912.2 延迟请求函数：Send_init和Recv_init 21112.3 求解偏微分方程问题的程序实现的改进 21412.4 优化共轭梯度法的一个程序实现 21712.5 标准MPI-4的功能：集体延迟的交互请求 219第13章 混合并行编程技术 22013.1 现代计算系统的典型配置 22013.2 测试示例 22313.3 使用OpenMP技术修改示例 22413.4 使用CUDA技术修改示例 22513.5 本章程序实现的效率和可扩展性评估 227第14章 对并行程序可扩展性差的分析与建议 23014.1 并行程序可扩展性差的主要原因 23014.1.1 接收数据的确切顺序 23114.1.2 大量数据的同时传输 23314.1.3 计数和消息传递阶段的分离 23414.1.4 计算拓扑和网络拓扑之间的不匹配 23514.1.5 PCI带宽不足，无法与GPU配合使用 23614.1.6 运行混合程序时的错误系统设置 23714.2 综合建议 237参考文献 238