高性能计算机体系结构

前言　
第1章　高性能计算机概述　1　
1.1　基本概念　1　
1.1.1　计算机性能　1　
1.1.2　高性能计算机的定义　3　
1.1.3　并行计算　4　
1.2　典型高性能计算机的结构剖析　6　
1.3　高性能计算机的性能评价　8　
1.3.1　峰值性能　8　
1.3.2　加速比和效率　9　
1.3.3　Amdahl定律　9　
1.3.4　Gustafson定律　12　
1.3.5　可扩展性　13　
1.4　高性能计算机的应用领域　14　
1.4.1　尺度超大类问题　14　
1.4.2　尺度超小类问题　15　
1.4.3　时变超快类问题　15　
1.4.4　时变超慢类问题　15　
1.4.5　过程超危险类问题　15　
1.4.6　过程超昂贵类问题　16　
1.4.7　新兴领域应用问题　16　
1.5　高性能计算机的演进和发展趋势　17　
1.5.1　高性能计算机的发展历史　17　
1.5.2　国产高性能计算机的发展历程　22　
1.5.3　高性能计算机的未来发展趋势　26　
1.6　本章小结　26　
课后习题　27　
第2章　基准评测集　29　
2.1　基准评测介绍　29　
2.2　计算性能评测集　30　
2.2.1　LINPACK　30　
2.2.2　HPCG　33　
2.2.3　Graph500　35
2.3　I/O性能评测集　38　
2.3.1　MDTest　38　
2.3.2　IOR　39　
2.3.3　IO500　39　
2.4　网络性能评测集.40　
2.4.1　IMB　40　
2.4.2　OSU Benchmark　41　
2.5　能耗评测集　42　
2.6　应用评测集　43　
2.6.1　Miniapplication　43　
2.6.2　戈登·贝尔奖　44　
2.7　本章小结　44　
课后习题　45　
第3章　高性能计算机的体系结构分类　46　
3.1　Flynn分类法　46　
3.1.1　SISD　47　
3.1.2　SIMD　47　
3.1.3　MISD　49　
3.1.4　MIMD　50　
3.1.5　SIMT　50　
3.1.6　计算机体系结构分类图谱　51　
3.2　共享内存系统　52　
3.2.1　集中式共享内存系统　52　
3.2.2　分布式共享内存系统　54　
3.3　分布式内存系统　55　
3.3.1　大规模并行处理系统　55　
3.3.2　工作站集群系统　56　
3.4　高性能计算机体系结构中的重要技术　58　
3.4.1　缓存一致性　58　
3.4.2　内存一致性　60　
3.4.3　同步　61　
3.4.4　互连网络　61　
3.5　非冯·诺依曼体系结构计算机　62　
3.5.1　冯·诺依曼体系结构的回顾　62　
3.5.2　非冯·诺依曼体系结构简介　63　
3.6　本章小结　64　
课后习题　65
第4章　高性能处理器的并行计算技术　66　
4.1　指令级并行　66　
4.1.1　流水线技术　66　
4.1.2　指令相关性　70　
4.1.3　流水线冒险　71　
4.1.4　处理冒险的技术　72　
4.1.5　精准异常的处理　73　
4.1.6　分支预测　73　
4.1.7　ILP增强技术　74　
4.2　线程级并行　76　
4.2.1　粗粒度多线程并行　77　
4.2.2　细粒度多线程并行　78　
4.2.3　同步多线程并行　79　
4.3　数据级并行　79　
4.3.1　SIMD指令集扩展　80　
4.3.2　图形处理器　84　
4.4　本章小结　87　
课后习题.87　
第5章　高性能计算机的存储层次　89　
5.1　存储层次结构　89　
5.2　缓存一致性　90　
5.2.1　基于侦听的缓存一致性协议　92　
5.2.2　基于目录的缓存一致性协议　95　
5.2.3　一致性的伪共享现象.97　
5.3　内存一致性问题.99　
5.3.1　顺序一致性　100　
5.3.2　松弛一致性　101　
5.4　内存屏障方法104　
5.4.1　编译器内存同步　104　
5.4.2　CPU内存同步　104　
5.4.3　无锁同步　106　
5.5　本章小结　107　
课后习题　107　
第6章　高性能计算机的互连网络　108　
6.1　基本定义和评价指标　108　
6.2　拓扑结构　110　
6.2.1　静态网络　111　
6.2.2　动态网络　113
6.3　流控机制　117　
6.3.1　基于消息的流量控制　118　
6.3.2　基于包的流量控制　119　
6.3.3　基于片的流量控制　120　
6.3.4　基于信用量的流量控制　121　
6.4　路由算法　122　
6.4.1　路由死锁问题　122　
6.4.2　路由算法的分类　123　
6.5　InfiniBand高性能互连网络　125　
6.5.1　InfiniBand层次结构　126　
6.5.2　InfiniBand网络架构　128　
6.6　RDMA协议　129　
6.6.1　常见的RDMA技术　130　
6.6.2　RDMA与传统协议对比　131　
6.7　本章小结　132　
课后习题　132　
第7章　异构计算体系结构　133　
7.1　异构计算的基本概念　133　
7.2　CPU GPU异构计算　135　
7.2.1　CPU与GPU的对比　135　
7.2.2　GPU的架构　137　
7.2.3　CUDA编程模型　139　
7.2.4　CUDA内存模型　143　
7.2.5　CUDA执行模型　144　
7.3　CPU FPGA异构计算　146　
7.3.1　FPGA的基本架构　146　
7.3.2　OpenCL编程模型　147　
7.3.3　OpenCL内存模型　149　
7.3.4　OpenCL执行模型　150　
7.4　本章小结　152　
课后习题　152　
第8章　领域专用体系结构　153　
8.1　面向深度神经网络的领域专用体系结构　153　
8.1.1　深度神经网络简介　153　
8.1.2　张量处理单元　154　
8.1.3　神经网络处理单元　160　
8.1.4　神经网络领域专用体系结构未来展望　162　
8.2　面向类脑计算的领域专用体系结构　163
8.2.1　类脑计算简介　164　
8.2.2　清华大学“天机”类脑体系结构　166　
8.2.3　其他类脑体系结构　167　
8.3　面向图计算的领域专用体系结构　168　
8.3.1　图计算　168　
8.3.2　面向图计算的领域专用体系结构分类　170　
8.4　本章小结　172　
课后习题　173　
参考文献　174