AI芯片:前沿技术与创新未来

**篇 导论

第1 章 AI 芯片是人工智能未来发展的核心——什么是 AI 芯片 // 2

1.1 AI 芯片的历史 // 3

1.2 AI 芯片要完成的基本运算 // 5

1.2.1 大脑的工作机制 // 5

1.2.2 模拟大脑运作的神经网络的计算 // 7

1.2.3 深度学习如何进行预测 // 8

1.2.4 提高性能和降低功耗 // 9

1.3 AI 芯片的种类 // 11

1.3.1 深度学习加速器 // 15

1.3.2 类脑芯片 // 16

1.3.3 仿生芯片及其他智能芯片 // 17

1.3.4 基于忆阻器的芯片 // 19

1.4 AI 芯片的研发概况 // 22 1.5 小结 // 23

第2 章 执行“训练”和“推理”的 AI 芯片 // 25

2.1 深度学习算法成为目前的主流 // 25

2.1.1 深度学习的优势与不足 // 28

2.1.2 监督学习与无监督学习 // 29

2.1.3 AI 芯片用于云端与边缘侧 // 31

2.1.4 把 AI 计算从云端迁移到边缘侧 // 36

2.2 AI 芯片的创新计算范式 // 40

2.3 AI 芯片的创新实现方法 // 42 2.4 小 结 // 46

第二篇 *热门的 AI 芯片

第3 章 深度学习 AI 芯片 // 48

3.1 深度神经网络的基本组成及硬件实现 // 48

3.1.1 AI 芯片的设计流程 // 50

3.1.2 计算引擎和存储系统 // 51

3.2 算法的设计和优化 // 57

3.2.1 降低数值精度的量化技术 // 57

3.2.2 压缩网络规模、“修剪”网络 // 62

3.2.3 二值和三值神经网络 // 63

3.2.4 可变精度和迁移精度 // 64

3.2.5 简化卷积层 // 66

3.2.6 增加和利用网络稀疏性 // 66

3.3 架构的设计和优化 // 67

3.3.1 把数据流用图表示的架构设计 // 68

3.3.2 架构设计及优化的其他考虑 // 71

3.4 电路的设计和优化 // 72

3.4.1 用模数混合电路设计的 MAC // 73

3.4.2 FPGA 及其 Overlay 技术 // 74

3.5 其他设计方法 // 76

3.5.1 卷积分解方法 // 76

3.5.2 提前终止方法 // 76

3.5.3 知识蒸馏方法 // 77

3.5.4 经验测量方法 // 77

3.5.5 哈希算法取代矩阵乘法 // 78

3.5.6 神经架构搜索 // 78

3.6 AI 芯片性能的衡量和评价 // 79

3.7 小 结 // 82

第4 章 近年研发的 AI 芯片及其背后的产业和创业特点 // 85

4.1 对 AI 芯片巨大市场的期待 // 86 4.2 “1+3”大公司格局 // 87

4.2.1 英伟达 // 87

4.2.2 谷歌 // 91

4.2.3 英特尔 // 94

4.2.4 微软 // 96

4.2.5 其他一些著名公司的 AI 芯片 // 97

4.2.6 三位世界级 AI 科学家 // 101

4.3 学术界和初创公司 // 102

4.3.1 大学和研究机构的 AI 芯片 // 103

4.3.2 四家初创“独角兽”公司的芯片 // 111

4.4 小 结 // 119

第5 章 神经形态计算和类脑芯片 // 121

5.1 脉冲神经网络的基本原理 // 122

5.2 类脑芯片的实现 // 125

5.2.1 忆阻器实现 // 127

5.2.2 自旋电子器件实现 // 129

5.3 基于 DNN 和 SNN 的 AI 芯片比较及未来可能的融合 // 131

5.4 类脑芯片的例子及*新发展 // 133

5.5 小 结 // 138

第三篇 用于 AI 芯片的创新计算范式

第6 章 模拟计算 // 142

6.1 模拟计算芯片 // 143

6.2 新型非易失性存储器推动了模拟计算 // 147

6.2.1 用阻变存储器实现模拟计算 // 147

6.2.2 用相变存储器实现模拟计算 // 149

6.2.3 权重更新的挑战 // 150

6.2.4 NVM 器件的材料研究和创新 // 151

6.3 模拟计算的应用范围及其他实现方法 // 153

6.4 模拟计算的未来趋势 // 154

6.5 小 结 // 156

第7 章 存内计算 // 158

7.1 冯·诺依曼架构与存内计算架构 // 158

7.2 基于存内计算的 AI 芯片 // 161

7.2.1 改进现有存储芯片来完成存内计算 // 161

7.2.2 用 3D 堆叠存储技术来完成存内计算 // 164

7.2.3 用新型非易失性存储器来完成存内计算 // 165

7.3 小 结 // 171

第8 章 近似计算、随机计算和可逆计算 // 174

8.1 近似计算 // 174

8.1.1 减少循环迭代次数的近似计算 // 176

8.1.2 近似加法器和近似乘法器 // 177

8.1.3 降低电源电压的近似计算 // 178

8.1.4 基于 RRAM 的近似计算 // 180

8.1.5 应对电路故障的近似计算 // 182

8.2 随机计算 // 182

8.3 可逆计算 // 187

8.4 小 结 // 191

第9 章 自然计算和仿生计算 // 192

9.1 组合优化问题 // 193

9.2 组合优化问题的*优化算法 // 195

9.2.1 模拟退火 // 195

9.2.2 自组织映射 // 197

9.2.3 群体算法 // 199

9.3 超参数及神经架构搜索 // 201

9.3.1 粒子群优化的应用 // 202

9.3.2 强化学习方法的应用 // 202

9.3.3 进化算法的应用 // 203

9.3.4 其他自然仿生算法的应用 // 204

9.4 基于自然仿生算法的 AI 芯片 // 205

9.4.1 粒子群优化的芯片实现 // 206

9.4.2 用忆阻器实现模拟退火算法 // 207

9.5 小 结 // 208

第四篇 下一代 AI 芯片

第10 章 受量子原理启发的 AI 芯片——解决组合优化问题的突破 // 210

10.1 量子退火机 // 210

10.2 伊辛模型的基本原理 // 212

10.3 用于解决组合优化问题的 AI 芯片 // 214

10.3.1 基于 FPGA 的可编程数字退火芯片 // 214

10.3.2 使用 OPO 激光网络来进行*优化计算 // 216

10.3.3 CMOS 退火芯片 // 218

10.3.4 商用量子启发 AI 芯片 // 220

10.4 量子启发 AI 芯片的应用 // 221

10.5 小 结 // 223

第11 章 进一步提高智能程度的 AI 算法及芯片 // 224

11.1 自学习和创意计算 // 225

11.2 元学习 // 226

11.2.1 模型不可知元学习 // 226

11.2.2 元学习共享分层 // 227

11.2.3 终身学习 // 228

11.2.4 用类脑芯片实现元学习 // 229

11.3 元推理 // 230

11.4 解开神经网络内部表征的缠结 // 231

11.5 生成对抗网络 // 235

11.5.1 生成对抗网络的 FPGA 实现 // 239

11.5.2 生成对抗网络的 CMOS 实现 // 239

11.5.3 生成对抗网络的 RRAM 实现 // 240

11.6 小结 // 242

第12 章 有机计算和自进化 AI 芯片 // 243

12.1 带自主性的 AI 芯片 // 244

12.2 自主计算和有机计算 // 247

12.3 自进化硬件架构与自进化 AI 芯片 // 248

12.3.1 自进化硬件架构 // 248

12.3.2 自进化 AI 芯片 // 250

12.4 深度强化学习 AI 芯片 // 252

12.5 进化算法和深度学习算法的结合 // 253

12.6 有机计算和迁移学习的结合 // 254

12.7 小 结 // 255

第13 章 光子 AI 芯片和储备池计算 // 256

13.1 光子 AI 芯片 // 257

13.1.1 硅光芯片 // 258

13.1.2 光学神经网络架构 // 259

13.1.3 光子 AI 芯片 // 261

13.2 基于储备池计算的 AI 芯片 // 263

13.3 光子芯片的新进展 // 267

13.4 小 结 // 268

第五篇 推动 AI 芯片发展的新技术

第14 章 超低功耗与自供电 AI 芯片 // 271

14.1 超低功耗 AI 芯片 // 271

14.2 自供电 AI 芯片 // 274

14.2.1 使用太阳能的 AI 芯片 // 276

14.2.2 无线射频信号能量采集 // 277

14.2.3 摩擦生电器件 // 280

14.2.4 微尘大小的 AI 芯片 // 282

14.2.5 可采集能源的特性 // 283

14.2.6 其他可能被发掘的能源 // 284

14.3 小 结 // 285

第15 章 后摩尔定律时代的芯片 // 287

15.1 摩尔定律仍然继续，还是即将终结 // 287

15.1.1 摩尔定律进一步 // 290

15.1.2 比摩尔定律更多 // 293

15.1.3 超越 CMOS // 300

15.2 芯片设计自动化的前景 // 311

15.3 后摩尔定律时代的重要变革是量子计算芯片 // 312

15.4 小 结 // 314

第六篇 促进 AI 芯片发展的基础理论研究、应用和创新

第16 章 基础理论研究引领 AI 芯片创新 // 316

16.1 量子场论 // 317

16.1.1 规范场论与球形曲面卷积 // 317

16.1.2 重整化群与深度学习 // 321

16.2 超材料与电磁波深度神经网络 // 322

16.3 老子之道 // 327

16.4 量子机器学习与量子神经网络 // 331

16.5 统计物理与信息论 // 333

16.6 小结 // 336

第17 章 AI 芯片的应用和发展前景 // 338

17.1 AI 的未来发展 // 338

17.2 AI 芯片的功能和技术热点 // 341

17.3 AI 的三个层次和 AI 芯片的应用 // 343

17.4 更接近生物大脑的 AI 芯片 // 347

17.4.1 带“左脑”和“右脑”的 AI 芯片 // 349

17.4.2 用细菌实现的扩散忆阻器 // 350

17.4.3 用自旋电子器件实现的微波神经网络 // 351

17.4.4 用电化学原理实现模拟计算 // 352

17.5 AI 芯片设计是一门跨界技术 // 353

17.6 小 结 // 355

附录 中英文术语对照表 // 360

参考文献 // 369