高性能计算技术丛书基于CUDA的GPU并行程序开发指南

译者序
前言
关于作者
**部分　理解CPU的并行性
第1章　CPU并行编程概述 2
1.1　并行编程的演化 2
1.2　核心越多，并行性越高 3
1.3　核心与线程 4
1.3.1　并行化更多的是线程还是核心 5
1.3.2　核心资源共享的影响 6
1.3.3　内存资源共享的影响 6
1.4　**个串行程序 7
1.4.1 　理解数据传输速度 8
1.4.2　imflip.c中的main( )函数 9
1.4.3　垂直翻转行：FlipImageV( ) 10
1.4.4　水平翻转列：FlipImageH( ) 11
1.5　程序的编辑、编译、运行 12
1.5.1　选择编辑器和编译器 12
1.5.2　在Windows 7、8、10平台上开发 12
1.5.3　在Mac平台上开发 14
1.5.4　在Unix平台上开发 14
1.6　Unix速成 15
1.6.1　与目录相关的Unix命令 15
1.6.2　与文件相关的Unix命令 16
1.7　调试程序 19
1.7.1　gdb 19
1.7.2　古典调试方法 20
1.7.3　valgrind 22
1.8　**个串行程序的性能 22
1.8.1　可以估计执行时间吗 23
1.8.2　代码执行时OS在做什么 23
1.8.3　如何并行化 24
1.8.4　关于资源的思考 25
第2章　开发**个CPU并行程序 26
2.1　**个并行程序 26
2.1.1　imflipP.c中的main( )函数 27
2.1.2　运行时间 28
2.1.3　imflipP.c中main( )函数代码的划分 28
2.1.4　线程初始化 30
2.1.5　创建线程 31
2.1.6 　线程启动/执行 32
2.1.7　线程终止（合并） 33
2.1.8　线程任务和数据划分 34
2.2　位图文件 35
2.2.1　BMP是一种无损/不压缩的文件格式 35
2.2.2　BMP图像文件格式 36
2.2.3　头文件ImageStuff.h 37
2.2.4　ImageStuff.c中的图像操作函数 38
2.3　执行线程任务 40
2.3.1　启动线程 41
2.3.2　多线程垂直翻转函数MTFlipV( ) 43
2.3.3　FlipImageV( )和MTFlipV( )的比较 46
2.3.4　多线程水平翻转函数MTFlipH(?) 47
2.4　多线程代码的测试/计时 49
第3章　改进**个CPU并行程序 51
3.1　程序员对性能的影响 51
3.2　CPU对性能的影响 52
3.2.1　按序核心与乱序核心 53
3.2.2　瘦线程与胖线程 55
3.3　imf?lipP的性能 55
3.4　操作系统对性能的影响 56
3.4.1　创建线程 57
3.4.2　线程启动和执行 57
3.4.3　线程状态 58
3.4.4　将软件线程映射到硬件线程 59
3.4.5　 程序性能与启动的线程 60
3.5　改进imf?lipP 61
3.5.1　 分析MTFlipH( )中的内存访问模式 62
3.5.2 　MTFlipH( )的多线程内存访问 63
3.5.3 　DRAM访问的规则 64
3.6　imf?lipPM：遵循DRAM的规则 65
3.6.1　imflipP的混乱内存访问模式 65
3.6.2　改进imflipP的内存访问模式 65
3.6.3　MTFlipHM( )：内存友好的MTFlipH( ) 66
3.6.4　MTFlipVM( )：内存友好的MTFlipV( ) 69
3.7　imflipPM.C的性能 69
3.7.1　imflipP.c和imflipPM.c的性能比较 70
3.7.2　速度提升：MTFlipV( )与MTFlipVM( ) 71
3.7.3　速度提升：MTFlipH( )与MTFlipHM( ) 71
3.7.4　理解加速：MTFlipH( )与MTFlipHM( ) 71
3.8　进程内存映像 72
3.9　英特尔MIC架构：Xeon Phi 74
3.10　GPU是怎样的 75
3.11　本章小结 76
第4章　理解核心和内存 77
4.1　曾经的英特尔 77
4.2　CPU和内存制造商 78
4.3　动态存储器与静态存储器 79
4.3.1　静态随机存取存储器（SRAM） 79
4.3.2　 动态随机存取存储器（DRAM） 79
4.3.3　DRAM接口标准 79
4.3.4　DRAM对程序性能的影响 80
4.3.5　SRAM对程序性能的影响 81
4.4　图像旋转程序：imrotate.c 81
4.4.1　imrotate.c的说明 82
4.4.2　imrotate.c：参数限制和简化 82
4.4.3　imrotate.c：实现原理 83
4.5　imrotate的性能 87
4.5.1　线程效率的定性分析 87
4.5.2　定量分析：定义线程效率 87
4.6　计算机的体系结构 89
4.6.1　核心、L1$和L2$ 89
4.6.2　核心内部资源 90
4.6.3 　共享L3高速缓存（L3 $） 91
4.6.4　内存控制器 92
4.6.5　主存 92
4.6.6　队列、非核心和I/O 93
4.7　imrotateMC：让imrotate更高效 94
4.7.1　Rotate2( )：平方根和浮点除法有多差 96
4.7.2　Rotate3( )和Rotate4( )：sin( )和cos( )有多差 97
4.7.3　Rotate5( )：整数除法/乘法有多差 98
4.7.4　Rotate6( )：合并计算 100
4.7.5　Rotate7( )：合并更多计算 100
4.7.6　imrotateMC的总体性能 101
4.8　本章小结 103
第5章　线程管理和同步 104
5.1　边缘检测程序：imedge.c 104
5.1.1　imedge.c的说明 105
5.1.2　imedge.c：参数限制和简化 106
5.1.3　imedge.c：实现原理 106
5.2　imedge.c：实现 108
5.2.1　初始化和时间戳 109
5.2.2　不同图像表示的初始化函数 110
5.2.3　启动和终止线程 111
5.2.4　高斯滤波 112
5.2.5　Sobel 113
5.2.6　阈值过滤 114
5.3　imedge的性能 115
5.4　imedgeMC：让imedge更高效 116
5.4.1　利用预计算降低带宽 116
5.4.2　存储预计算的像素值 117
5.4.3　预计算像素值 118
5.4.4　读取图像并预计算像素值 119
5.4.5　PrGaussianFilter 1