AI 加速器指标阅读框架

这页不维护实时硬件参数表。AI 芯片规格变化快，公开资料口径也不统一，具体数值应以厂商官方文档、云服务文档或权威 benchmark 为准。这里保留的是读指标时的分析框架。

不要只看峰值算力

AI 加速器常见宣传指标包括 TFLOPS / TOPS，但单看峰值很容易误判。需要同时看：

• 精度：FP32、TF32、FP16、BF16、FP8、FP4、INT8 是否同口径。
• 场景：训练、推理、稠密 GEMM、稀疏、attention、embedding 是否同场景。
• 内存：HBM 容量、带宽、KV cache 能放多少。
• 互联：单卡、单机多卡、跨机集群的通信能力差异。
• 软件栈：编译器、runtime、kernel library、框架后端是否成熟。
• 可用性：是否有稳定云服务、驱动、调试工具和生态文档。

关键指标

指标	解释	影响
峰值算力	理想条件下的理论运算能力	上限参考，不等于真实吞吐
HBM 容量	设备高带宽显存大小	决定模型、activation、KV cache 容量
HBM 带宽	HBM 读写吞吐	影响 memory-bound op 和推理 decode
片间互联	多卡之间通信带宽和延迟	影响分布式训练、tensor parallel、all-reduce
精度支持	支持哪些低精度格式	影响训练稳定性、推理吞吐和数值误差
软件生态	框架、算子库、debug 工具成熟度	决定真实落地效率

训练和推理的关注点不同

训练更关注：

• 多卡扩展效率。
• all-reduce / reduce-scatter / all-gather 通信性能。
• optimizer state 和 activation 显存压力。
• checkpoint、容错和长期稳定性。

推理更关注：

• 首 token 延迟。
• decode 阶段每 token 延迟。
• KV cache 容量和 layout。
• continuous batching。
• 多模型服务、限流、降级和观测。

横向比较时的坑

• 不同厂商可能用不同精度口径报告算力。
• FP8 / FP4 峰值不能直接和 BF16 / FP16 比。
• 单卡强不代表集群强，互联和通信库可能成为瓶颈。
• benchmark 分数不等于业务模型吞吐。
• 软件栈不成熟时，理论硬件能力很难被框架充分利用。

结论

硬件指标只是第一层。真正决定 AI Infra 落地效果的是硬件、runtime、kernel、框架后端、调度系统和观测体系的整体配合。做技术选型时应把“能跑起来、跑得准、跑得稳、跑得便宜”放在同一张表里评估。