AMD Instinct MI300X 192GB OAM
GPU 2023 年发布 含文献引用跑分 数据状态：partial（文献引用）
AMD 旗舰数据中心 GPU；192 GB HBM3 大容量装得下 FP16 70B 无需量化，与 H100/H200 在 Llama-3-70B 公开口径下互为竞争面
共 12 款硬件；数据状态：partial，更新于 2026-09-13
规格（厂商标称）
| 规格 | 厂商标称值 |
|---|---|
| 架构 | CDNA 3 |
| 显存类型 | HBM3 |
| 显存容量 | 192 GB |
| 显存带宽（标称） | 5300 GB/s |
| TDP | 750 W |
| FP16 算力 | 1307 TFLOPS |
| FP8 算力 | 2614 TFLOPS |
| INT8 算力 | 2614 TOPS |
| 制程 | 5 |
| 形态 | OAM |
| 互联 | Infinity Fabric (896 GB/s) |
厂商标称规格，非实测值；数值可追溯到来源（见 §来源）。
跑分与原始数据表
推理吞吐（70B 离线）（tokens/s）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| mlperf-citation | Llama-3-70B · fp16 · batch 32 · prompt 512 · output 256 · offline | 14500 tokens/s | 2026-09-12 | literature-cited |
methodology.md#inference_tps · 原始：apps/hw/content/raw/amd-mi300x-192gb-oam-2026-09-12.json · AMD hot-chips 2024 / ROCm 博客 Llama-3 inference；FP16 192 GB 装得下 70B 无需量化；非本团队独立跑分
训练吞吐（tokens/s）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| mlperf-citation | Mixtral 8x7B · fp16 · batch 1024 · training | 720 tokens/s | 2026-09-12 | literature-cited |
methodology.md#training_throughput · 原始：apps/hw/content/raw/amd-mi300x-192gb-oam-2026-09-12.json · MLPerf Training v3.1 AMD 提交；非本团队独立跑分
稳态功耗（W）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| mlperf-citation | Llama-3-70B inference steady-state | 720 W | 2026-09-12 | literature-cited |
methodology.md#power · 原始：apps/hw/content/raw/amd-mi300x-192gb-oam-2026-09-12.json · AMD 官方公开提交稳态功耗；非本团队独立跑分
价格性能（派生）（USD/MTok）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| derived(content-pipeline) | — | 1.034 USD/MTok | 2026-09-12 | literature-cited |
methodology.md#price_perf · 原始：apps/hw/content/raw/amd-mi300x-192gb-oam-2026-09-12.json · 派生指标：USD 15000 / (14500 tokens/s × 3600 s/h × 1e-6 MTok/tok)；价格由 BenchOps 维护
与其他款对比
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB | 13250 | tokens/s |
| NVIDIA H200 SXM | —（待补） | tokens/s |
| NVIDIA A100 SXM4 80GB | 6200 | tokens/s |
| NVIDIA GeForce RTX 4090 | —（待补） | tokens/s |
| NVIDIA RTX 6000 Ada Generation | —（待补） | tokens/s |
| AMD Instinct MI300X 192GB OAM（本款） | 14500 | tokens/s |
| AMD Instinct MI250X | —（待补） | tokens/s |
| Intel Gaudi 2 (HL-225B) 96GB | 4800 | tokens/s |
| 华为 昇腾 910B 64GB | 4200 | tokens/s |
| 寒武纪 思元 590 (MLU590) 80GB | 3100 | tokens/s |
| AMD EPYC 9654 | —（待补） | tokens/s |
| Intel Xeon Platinum 8480+ | —（待补） | tokens/s |
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB | 950 | tokens/s |
| NVIDIA H200 SXM | —（待补） | tokens/s |
| NVIDIA A100 SXM4 80GB | 470 | tokens/s |
| NVIDIA GeForce RTX 4090 | —（待补） | tokens/s |
| NVIDIA RTX 6000 Ada Generation | —（待补） | tokens/s |
| AMD Instinct MI300X 192GB OAM（本款） | 720 | tokens/s |
| AMD Instinct MI250X | —（待补） | tokens/s |
| Intel Gaudi 2 (HL-225B) 96GB | 380 | tokens/s |
| 华为 昇腾 910B 64GB | 360 | tokens/s |
| 寒武纪 思元 590 (MLU590) 80GB | 240 | tokens/s |
| AMD EPYC 9654 | —（待补） | tokens/s |
| Intel Xeon Platinum 8480+ | —（待补） | tokens/s |
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB | 680 | W |
| NVIDIA H200 SXM | —（待补） | W |
| NVIDIA A100 SXM4 80GB | 380 | W |
| NVIDIA GeForce RTX 4090 | —（待补） | W |
| NVIDIA RTX 6000 Ada Generation | —（待补） | W |
| AMD Instinct MI300X 192GB OAM（本款） | 720 | W |
| AMD Instinct MI250X | —（待补） | W |
| Intel Gaudi 2 (HL-225B) 96GB | 560 | W |
| 华为 昇腾 910B 64GB | 370 | W |
| 寒武纪 思元 590 (MLU590) 80GB | 420 | W |
| AMD EPYC 9654 | —（待补） | W |
| Intel Xeon Platinum 8480+ | —（待补） | W |
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB | 1.887 | USD/MTok |
| NVIDIA H200 SXM | —（待补） | USD/MTok |
| NVIDIA A100 SXM4 80GB | 1.935 | USD/MTok |
| NVIDIA GeForce RTX 4090 | —（待补） | USD/MTok |
| NVIDIA RTX 6000 Ada Generation | —（待补） | USD/MTok |
| AMD Instinct MI300X 192GB OAM（本款） | 1.034 | USD/MTok |
| AMD Instinct MI250X | —（待补） | USD/MTok |
| Intel Gaudi 2 (HL-225B) 96GB | 1.875 | USD/MTok |
| 华为 昇腾 910B 64GB | 2.865 | USD/MTok |
| 寒武纪 思元 590 (MLU590) 80GB | 3.6 | USD/MTok |
| AMD EPYC 9654 | —（待补） | USD/MTok |
| Intel Xeon Platinum 8480+ | —（待补） | USD/MTok |
“—（待补）”表示该维度尚无实测 / 数据；example=true 结构示例条目不参与聚合。
测试方法见各维度 method_ref（methodology.md 锚点）；原始输出归档 content/raw/。
价格
| 价格 | 值 |
|---|---|
| 币种 | USD |
| 金额 | 15000 |
| USD 等值（参考） | ≈ 15,000 USD（1 USD ≈ 7.17 CNY，仅作参考） |
| 来源 | AMD 渠道参考 / Tensorwave 公开报价 |
| 抓取日期 | 2026-09-10 |
| 质保 | 3 年 |
| 税制 | 不含税 |
USD 单卡裸价；CNY 107,550 按 1 USD ≈ 7.17 CNY 当日中间价折算（仅作参考，非交易汇率）
厂商标称 / 文献引用（MLPerf 公开提交、厂商白皮书等），非本团队独立实测。
来源
- AMD Instinct MI300X product brief（https://www.amd.com/en/products/accelerators/instinct/mi300x.html，抓取 2026-09-08，spec）
- MLPerf Training v3.1 (AMD submission)（https://mlcommons.org/benchmarks/training/，抓取 2026-09-08，benchmark）
- ROCm blog Llama-3 inference（https://rocm.docs.amd.com/en/latest/，抓取 2026-09-08，benchmark）
- Tensorwave MI300X pricing（https://tensorwave.com/，抓取 2026-09-10，price）