• Fermi 是 NVIDIA 第一个面向通用计算设计的完整架构。每个 SM 包含 32 个 CUDA Core，分布在 2 条 lane 上（每条 16 个）。
• Fermi 架构把 Tesla 架构的 TPC 改名为 Graphics Processor Clusters（GPC），毕竟 Texture 现在显得不再那么重要。
• Fermi 的 CUDA core 实现了浮点乘加融合（FMA），每个 CUDA Core 内部是 1 个单精度浮点单元 (FPU) + 1 个整数单元 (ALU)，可以直接执行 FMA 操作。每个 cycle 可跑 16 个双精度 FMA。Tesla 的浮点并没有完全按照 IEEE754 标准实现，例如不支持 subnormal 浮点，而 Fermi 实现了完整的支持，并且实现了 IEEE754 标准的 rounding mode。
• Fermi 架构把 Load/Store（LD/ST）单元独立出来，地址空间也从 32 位扩大到了 64 位。寄存器堆保存了 32768 个 32 位寄存器。

• Kepler 去掉了 TPC/GPC 这一个层级，而是把 SM 做的很大，称为 SMX。相比 Fermi 大幅堆料：CUDA Core 从 32 暴增到 192（4 × 3 × 16，每条 lane 仍是 16 个）。
• Kepler 引入 独立的 64 个双精度运算单元，不需要通过单精度单元去做双精度运算。这使得 Kepler 的双精度性能远超前后几代。4 个 Warp Scheduler 搭配 8 个 Dispatch Unit（1:2 比例）。
• Kepler 相比 Fermi 架构的主要改进：
• Dynamic Parallelism 和 Grid Management Unit：不仅 CPU 可以提交任务到 GPU 执行，GPU 自己也可以提交任务到自己上去执行
• Hyper-Q：允许多个 CPU 核心同时向 GPU 提交任务，把硬件任务队列从 1 增加到了 32 个。每个 CUDA stream 会对应到一个硬件任务队列，因此增加硬件任务队列，可以减少 false dependency。
• GPUDirect：支持 RDMA

• 虽然 Kepler 把 GPC 层次去掉了，但是 Maxwell 架构又把 GPC 加回来了。
• SM 更名为 SMM。开始做减法：移除独立双精度计算单元，CUDA Core 从 192 精简到 128（4 × 32）。
• Maxwell 把计算单元也划分成了四份，每一份叫做一个 Processing Block（PB），每个 Block 有独立的 Warp Scheduler、Instruction Buffer 和 Register File。
• 工艺提升带来的收益：每个 CUDA Core 性能比 Kepler 提升 1.4x，整体能效比提升 2x。

• Pascal 架构每个 SM 只有 2 个 PB。
• NVLink：首次引入 GPU 间高速互联 NVLink 1.0，双向带宽 160 GB/s
• SM 内部进一步精简：2 × 32 = 64 CUDA Core，Warp Scheduler 也缩减为 2 个。
• 双精度回归：32 个独立 FP64 单元（2 × 16）
• FP16 支持：CUDA Core 首次支持半精度计算，为后续 AI 加速铺路
• 支持 Compute Preemption，使得 kernel 可以在指令级别做抢占，而不是 thread block 级别，这样就可以让调试器等交互式的任务不会阻碍其他计算任务的进行；在 Kepler 架构中，只有等一个 thread block 的所有 thread 完成，硬件才可以做上下文切换，但是如果中间遇到了调试器的断点，这时候 thread block 并没有完成，那么此时只有调试器可以使用 GPU，其他任务就无法在 GPGPU 上执行

• 里程碑架构。
• Tensor Core 1.0：每个 SM 8 个（4 × 2），每个 TC 每周期执行 4×4×4 GEMM（FP16 输入，FP32 累加），等效 64 个 FP32 ALU。
• NVLink 2.0
• CUDA Core 拆分：不再是统一的 FPU+ALU，而是独立的 FP32 Core 和 INT32 Core。优势：两者可以同时执行，混合运算吞吐翻倍。
• 独立线程调度：每个线程拥有独立 PC 和调用栈
• Warp Scheduler 变为 1:1 对应 Dispatch Unit（之前是 1:2），并增加 L0 ICache。
• 每个 SM 拆分成 4 个 PB 回归。
• Volta 的 Warp Scheduler 又回到了单发射，一条涉及 32 条线程的指令被发射，那么它需要两个周期来完成，第二个周期的时候，Warp Scheduler 也会同时发射其他指令，从而实现指令级并行。

• Tensor Core 2.0：在 Volta 基础上新增 INT8 和 INT4 支持，开始覆盖推理量化场景。
• 引入 RT Core（光线追踪加速单元）。
• SM 内计算单元与 Volta 类似，每个 SM 含 4 个 Processing Block。

• 4 个 PB。
• Tensor Core 3.0
• 数量从 8 减半到 4，但每个吞吐量翻 4 倍，总吞吐翻倍。
• 数据类型大幅扩展：FP16、BF16、TF32、FP64、INT8、INT4、Binary。
• 支持结构性稀疏矩阵。
• NVLink 3.0
• ‌Multi-Instance GPU‌（多实例 GPU，MIG 1.0）

• 4 个 PB。
• 出现了 FP32/INT32 混合的 core，使得 FP32 峰值性能翻倍，但是这个峰值也更难达到，因为达到峰值意味着不用到 FP32/INT32 core 的 INT32 部分。

消费级旗舰。延续 Ampere 的双数据通路（64 专用 FP32 + 64 Flex FP32/INT32），合计 128 FP32 Core。TSMC 4N 工艺。

• Tensor Core 4.0：新增 FP8（E4M3 / E5M2）支持，搭载 Hopper 的 Transformer Engine 技术。吞吐量相比 Ampere 再翻倍。
• 第 3 代 RT Core：新增 Opacity Micro-Map（OMM）和 Displaced Micro-Mesh Engine，光追性能 2x。
• 支持 DLSS 3（帧生成）、Shader Execution Reordering（SER，光追调度优化）。
• AD102：144 SM。
• RTX 4090：128 SM。

大模型时代的数据中心旗舰。

• 8 个 GPC，66 个 TPC，每个 TPC 有两个 SM；一共 132 个 SM。（H100 SXM5 参数）
• Tensor Core 4.0：
• 原生 FP8 支持（E4M3 / E5M2）。
• 引入 wgmma（Warp Group MMA）指令，128 线程协作完成矩阵运算。
• FP16 吞吐 729 TFLOPS。
• FP8 达 1,448 TFLOPS（H800）。
• Transformer Engine：硬件动态精度选择，每层自动在 FP8 和 FP16 之间切换，训练精度不损失。
• Thread Block Cluster：跨 SM 的线程块协作原语。
• Distributed Shared Memory (DSMEM)：SM 间可直接访问彼此的 Shared Memory，延迟 180 cycles，带宽 3.27 TB/s。
• Tensor Memory Accelerator (TMA)：异步 1D-5D 张量搬运，解放计算线程。
• DPX 指令集：动态规划算法加速（Smith-Waterman 等），最高 13x 提速。
• H100 SXM5：132 SM，16,896 FP32 Core，528 TC，80GB HBM3（3 TB/s），50MB L2，800 亿晶体管，TSMC N4。
• NVLink 4.0
• MIG 2.0

双芯片封装，2080 亿晶体管。INT32 和 FP32 执行路径统一，INT32 Core 数量与 FP32 持平。

• Tensor Core 5.0：
• 全新 FP4（e2m1）和 FP6（e3m2 / e2m3）支持。
• FP4 吞吐 7,702 TFLOPS。
• FP8 吞吐 3,851 TFLOPS（B200）。
• 引入 tcgen05.mma 单线程 tensor 指令，替代 warp 级 MMA，延迟从 32 cycles 降至 11 cycles。
• Tensor Memory (TMEM)：全新的 256KB 专用 Tensor Core 存储，512 列 × 128 lane 的 2D 阵列。读带宽 16 TB/s，写带宽 8 TB/s（每 SM）。缓存未命中延迟降低 58%。
• 硬件解压引擎：原生支持 LZ4、Snappy、Zstd、GZIP 解压。
• B200：148 SM，192GB HBM3e。GB202：192 SM，24,576 FP32 Core，TSMC N4P。
• LLM 性能：Mistral-7B FP8 推理 78,400 tok/s（1.59x vs H200），FP4 达 112,800 tok/s。

• 下一代数据中心平台，预计 2026 下半年。
• Tensor Core 6.0：支持 FP4/FP6/FP8/FP16/BF16/TF32/FP32/FP64。
• 第 3 代 Transformer Engine：硬件自适应压缩 + 跨层动态精度选择 + 双级微块缩放（NVFP4）。
• HBM4 显存：288GB，8 个堆叠，带宽 22 TB/s（Blackwell 的 2.8 倍）。
• NVLink 6.0：每 GPU 双向 3.6 TB/s（NVLink 5.0 的 2 倍）。
• FP4 算力：50 PFLOPS（Blackwell 20 PFLOPS 的 2.5 倍）。
• Vera Rubin NVL72 系统：72 GPU 聚合 FP4 推理 3,600 PFLOPS，NVLink 聚合带宽 260 TB/s。

Ampere 的 Tensor Core 引入了硬件级结构化稀疏加速。与传统 CSR/BSR 等稀疏格式完全不同，采用 2:4 稀疏模式：每 4 个权重中剪掉 2 个。

压缩后的数据包含两部分：

• Non-zero data：压缩后的权重数据（原来的一半大小）
• Non-zero indices：记录非零元素位置的索引矩阵

硬件内部通过 MUX（多路选择器）根据 indices 从 activation 中选取对应元素，与压缩后的权重做点积。实现近 2x 推理加速，且无需修改模型代码。