GPU编程与优化-大众高性能计算

目录 **篇理论篇 第1章高性能计算概述3 1.1高性能计算概念辨析3 1.1.1并行计算、高性能计算和超级计算3 1.1.2超级计算机与超级计算中心4 1.2计算科学5 1.3高性能计算发展史5 1.4高性能计算简介6 1.5向量机与阵列机8 1.6本章小结9 第2章GPU概述10 2.1GPU是什么10 2.2协处理器10 2.3GPU与显卡的关系11 2.4GPU/显卡购买注意事项11 2.5为什么要学GPU编程12 2.6GPU与CPU辨析13 2.7GPU发展简史14 2.8GPU编程方法14 2.9CPU/GPU异构系统16 第3章GPU硬件架构17 3.1GPU架构17 3.1.1Tesla架构18 3.1.2Fermi架构20 3.1.3Kepler架构21 3.1.4Maxwell架构23 3.1.5Pascal架构243.2Kernel的硬件映射28 3.3GPU存储体系29 3.4GPU计算能力30 GPU编程与优化——大众高性能计算目录第4章GPU软件体系33 4.1GPU软件生态系统33 4.2CUDA Toolkit34 4.2.1NVCC编译器34 4.2.2cuobjdump35 4.3CUDA环境安装36 4.3.1Windows 7安装CUDA 4.236 4.3.2Linux下安装CUDA38 第5章CUDA C编程41 5.1CUDA编程模型41 5.2CUDA编程七步曲42 5.3驱动API与运行时API42 5.4CUDA运行时函数43 5.4.1设备管理函数43 5.4.2存储管理函数45 5.4.3数据传输函数48 5.4.4线程管理函数51 5.4.5流管理函数52 5.4.6事件管理函数52 5.4.7纹理管理函数53 5.4.8执行控制函数55 5.4.9错误处理函数55 5.4.10图形学互操作函数57 5.4.11OpenGL互操作函数58 5.4.12Direct3D互操作函数59 5.5CUDA C语言扩展60 5.6gridblockthread三维模型61 第二篇入门篇 第6章向量加法67 6.1向量加法及其串行代码67 6.2单block单thread向量加68 6.3单block多thread向量加68 6.4多block多thread向量加69 6.5CUBLAS库向量加法70 6.6实验结果分析与结论71 6.6.1本书实验平台71 6.6.2实验结果71 6.6.3结论71 6.7知识点总结72 6.8扩展练习75 第7章归约: 向量内积76 7.1向量内积及其串行代码76 7.2单block分散归约向量内积77 7.3单block低线程归约向量内积78 7.4多block向量内积(CPU二次归约)79 7.5多block向量内积(GPU二次归约)81 7.6基于原子操作的多block向量内积81 7.7计数法实现多block向量内积84 7.8CUBLAS库向量内积85 7.9实验结果与结论86 7.9.1实验结果86 7.9.2结论86 7.10归约的深入优化探讨87 7.10.1block数量和thread数量对归约性能的影响87 7.10.2算术运算优化88 7.10.3减少同步开销89 7.10.4循环展开90 7.10.5总结91 7.11知识点总结91 7.12扩展练习94 第8章矩阵乘法95 8.1矩阵乘法及其3种串行代码95 8.1.1一般矩阵乘法95 8.1.2循环交换矩阵乘法97 8.1.3转置矩阵乘法98 8.1.4实验结果与*优串行矩阵乘99 8.2grid线程循环矩阵乘法100 8.3block线程循环矩阵乘法101 8.4行共享存储矩阵乘法101 8.5棋盘阵列矩阵乘法103 8.6判断移除105 8.7CUBLAS矩阵乘法106 8.8实验结果分析与结论108 8.8.1矩阵乘精度分析108 8.8.2实验结果分析110 8.8.3浮点运算能力分析111 8.9行共享存储矩阵乘法改进111 8.10知识点总结113 8.11扩展练习115 第9章矩阵转置116 9.1矩阵转置及其串行代码116 9.21D矩阵转置117 9.32D矩阵转置118 9.4共享存储2D矩阵转置119 9.5共享存储2D矩阵转置diagonal优化120 9.6实验结果分析与结论121 9.7共享存储2D矩阵转置的深入优化122 9.8知识点总结124 9.9扩展练习125 第三篇提高篇 第10章卷积129 10.1卷积及其串行实现129 10.1.1一维卷积129 10.1.2二维卷积131 10.2GPU上1D卷积134 10.3M常量1D卷积135 10.4M共享1D卷积136 10.5N共享1D卷积137 10.6实验结果分析139 10.6.1扩展法1D卷积实验结果分析139 10.6.2判断法与扩展法1D卷积对比140 10.6.3加速比分析141 10.6.4线程维度对性能的影响141 10.72D卷积的GPU移植与优化142 10.7.1GPU上2D卷积142 10.7.2M常量2D卷积143 10.7.3M常量N共享2D卷积143 10.7.42D卷积实验结果分析145 10.8知识点总结145 10.9扩展练习147 第11章曼德博罗特集148 11.1曼德博罗特集及其串行实现148 11.2曼德博罗特集的GPU映射150 11.3一些优化尝试及效果152 11.3.1访存连续152 11.3.2uchar4访存合并153 11.3.34种零拷贝153 11.3.4总结分析155 11.4计算通信重叠优化156 11.5突破kernel执行时间限制159 11.6知识点总结160 11.7扩展练习162 第12章扫描: 前缀求和163 12.1前缀求和及其串行代码163 12.2KoggeStone并行前缀和164 12.2.1直接KoggeStone分段前缀和164 12.2.2交错KoggeStone分段前缀和165 12.2.3完整KoggeStone前缀和166 12.3BrentKung并行前缀和168 12.3.1BrentKung分段前缀和169 12.3.2两倍数据的BrentKung分段前缀和170 12.3.3避免bank conflict的两倍数据BrentKung分段前缀和171 12.3.4完整BrentKung前缀和173 12.4warp分段的KoggeStone前缀求和174 12.5实验结果分析与结论177 12.6知识点总结179 12.7扩展练习180第13章排序181 13.1串行排序及其性能181 13.1.1选择排序181 13.1.2冒泡排序182 13.1.3快速排序182 13.1.4基数排序183 13.1.5双调排序网络185 13.1.6合并排序186 13.1.7串行排序性能对比187 13.2基数排序188 13.2.1基数排序概述188 13.2.2单block基数排序189 13.2.3基于thrust库的基数排序196 13.3双调排序网络197 13.3.1双调排序网络概述197 13.3.2单block双调排序网络199 13.3.3多block双调排序网络202 13.4快速排序206 13.5合并排序207 13.6实验结果分析与结论208 13.7知识点总结209 13.8扩展练习210 第14章几种简单图像处理211 14.1图像直方图统计211 14.1.1串行直方图统计211 14.1.2并行直方图统计211 14.1.3实验结果与分析212 14.2中值滤波213 14.2.1串行中值滤波214 14.2.21D并行中值滤波215 14.2.3共享1D中值滤波216 14.2.4双重共享1D中值滤波218 14.2.52D并行中值滤波221 14.2.6共享2D中值滤波222 14.2.7共享2D中值滤波的改进227 14.2.8实验结果与分析229 14.3均值滤波231 14.3.1串行均值滤波231 14.3.2并行均值滤波232 14.3.3实验结果与分析233 第四篇核心篇 第15章GPU执行核心237 15.1概述237 15.2算术运算支持238 15.2.1整数运算238 15.2.2浮点运算239 15.3算术运算性能240 15.4分支处理242 15.5同步与测时246 15.5.1同步246 15.5.2测时247 15.6数学函数247 15.7warp与block原语249 15.7.1warp原语249 15.7.2block原语250 15.8kernel启动、线程切换和循环处理251 第16章GPU存储体系254 16.1概述254 16.2寄存器259 16.3局部存储261 16.4共享存储器264 16.4.1共享存储使用264 16.4.2bank conflict265 16.4.3volatile关键字266 16.4.4共享存储原子操作267 16.5常量存储268 16.6全局存储269 16.6.1全局存储的使用269 16.6.2全局存储的合并访问271 16.6.3利用纹理缓存通道访问全局存储271 16.7纹理存储273 16.7.1CUDA数组273 16.7.2纹理存储的操作和限制274 16.7.3读取模式、纹理坐标、滤波模式和寻址模式276 16.7.4表面存储278 16.8主机端内存281 16.9零拷贝操作283 第17章GPU关键性能测评284 17.1GPU性能测评概述284 17.2GPU参数获取286 17.2.1GPU选择286 17.2.2详细设备参数获取287 17.3精确测时方法汇总288 17.3.1clock测时289 17.3.2gettimeofday测时289 17.3.3CUDA事件测时289 17.3.4cutil库函数测时290 17.4GPU预热与启动开销290 17.5GPU浮点运算能力291 17.6GPU访存带宽293 17.7GPU通信带宽295 17.8NVIDIA Visual Profiler296 17.9程序性能对比约定298 第18章CPUs和GPUs协同299 18.1协同优化基点299 18.1.1CPU并行矩阵乘基点299 18.1.2GPU并行矩阵乘基点300 18.2CPU/GPU协同300 18.3多GPU协同305 18.3.1CUDA版本306 18.3.2OpenMP+CUDA308 18.3.3MPI+CUDA311 18.4CPUs/GPUs协同314 18.4.1CUDA版本314 18.4.2OpenMP+CUDA319 18.4.3MPI+OpenMP+CUDA324 18.5本章小结329 附录 附录A判断法1D卷积代码333 附录A.1判断法1D卷积basic版333 附录A.2判断法1D卷积constant版334 附录A.3判断法1D卷积shared版336 附录A.4判断法1D卷积cache版337 附录B曼德博罗特集的系列优化代码340 附录B.1完整版串行C代码340 附录B.2cuda_1_0343 附录B.3cuda_0_2345 附录B.4cuda_zerocopy346 附录B.5cuda_1_0_zerocopy348 附录B.6cuda_0_0_zerocopy349 附录B.7cuda_0_2_zerocopy351 附录B.8cuda_2352 附录B.9cuda_1_2354 附录C几种图像处理完整源码357 附录C.1BMP图像读写头文件357 附录C.2图像直方图串行代码373 附录C.3串行中值滤波代码374 附录C.4并行均值滤波相关代码376 附录Dnvprof帮助菜单383 附录ENVCC帮助菜单388 附录F几种排序算法源代码399 附录F.1bitonic_sort_block函数399 附录F.2GPU快速排序完整代码400 附录F.3GPU合并排序完整代码408 参考文献417