“双卡 A100 80GB vs H100 80GB：2026 推理硬件的性价比终局?”

导语

2026 年 7 月,A100 已停产 4 年,H100 被 Blackwell B200 抢走了头条,但一个工程问题每天都在企业 IT 群里重演:手上 80GB 显存预算,究竟是买 1 张 H100 SXM5 80GB,还是拿同样价格买 2 张二手 A100 80GB SXM4?NVIDIA、Modal、CloudZero、Lyceum Technology 和 Jarvis Labs 的公开数据,加上 vLLM 与 SemiAnalysis InferenceX 4 月发布的实测,把这场 80GB 性价比之争的关键变量摊到了桌面上。

一、关键事实:H100 比 A100 快多少?

NVIDIA H100 官方页与 Lyceum Technology 2026 综述给出的核心差距是架构级的:

• FP8 Tensor Core:H100 SXM 3,958 TOPS,A100 80GB SXM4 在 FP16 Tensor Core 上约 624 TFLOPS——这是 H100 最大的代差武器,Transformer Engine 能在不重写模型的前提下把权重精度降到 FP8,直接换 ~2 倍吞吐。
• 内存带宽:H100 SXM5 80GB 3.35 TB/s,A100 80GB SXM4 2.0 TB/s——LLM 推理是访存密集型,带宽直接决定 decode 阶段 token/s。
• NVLink:H100 SXM5 4 代 NVLink 900 GB/s,A100 SXM4 NVLink 600 GB/s——双卡推理时,A100 必须走 PCIe Gen4(64 GB/s),H100 走 NVLink(450 GB/s 单向),跨卡通信差一个数量级。

NVIDIA H100 官方页对 Llama 2 70B 推理给出的官方比值是"Up to 5X faster than A100 systems"(H100 NVL 对比 A100 系统)。Jarvis Labs 2026 实测在 Qwen3-32B + FP8 上给出 4 倍,Qwen3-8B + BF16 上是 2.29 倍——可见模型越小、A100 越不吃亏。

二、价格:一手 vs 二手 vs 云

2026 年 7 月公开市场的报价分布如下,单位都是美元:

| 形态 | H100 80GB | A100 80GB |

|------|-----------|-----------|

| 一手 PCIe | $25,000–$30,000(CloudZero,2026-05) | $15,000 左右(Alibaba 综合) |

| 一手 SXM | $35,000–$40,000(CloudZero,2026-05) | $18,000–$20,000(Modal,2024-10) |

| 二手 | $6,000–$22,000,2023 峰值跌 85%(CloudZero) | eBay 中位数 $18,502(Reddit,2025-05),$4,000–$9,000(Alibaba 二手) |

| 云 hourly | $1.38–$11.06,中位 $2.29–$3.12(Thunder Compute,2026-07) | $1.09–$5.12(Jarvis Labs $1.49,Modal $3.40) |

关键观察:H100 PCIe 比 A100 80GB SXM4 一手贵 ~60–80%,但二手 H100 已跌到 $6K–$22K,与 A100 80GB 二手价高度重叠。2026 年 7 月,H100 一手 + A100 二手的搭配,比双卡 H100 一手便宜 50% 以上。

三、双卡 A100 80GB 的硬约束:NVLink 是分水岭

把两张 A100 80GB SXM4 用 NVLink 桥接起来,可以拼出 160GB 等效显存,跑 70B 全精度模型;但它们的互联带宽只有 600 GB/s(4 代 NVLink),PCIe Gen4 主机桥接下降到 ~64 GB/s。Jarvis Labs 的实测显示,A100 在双卡 70B 推理时,跨卡 attention 的通信开销会让加速比掉到 1.5–1.8 倍而不是理论 2 倍。

H100 SXM5 + NVLink Switch System 可以让 8 张卡共享 900 GB/s 的全互联带宽,双卡 H100 推理几乎不损失吞吐。NVIDIA 官方对 GPT-3 175B 推理给出"30 倍 A100"的数字,主要来自 NVLink + FP8 + 大 batch 的叠加效果,不是单卡 FLOPS 直接对比。

四、决策树:你到底选哪一张?

五、关键点

• H100 在 FP8 推理上对 A100 是 2–5 倍领先,NVIDIA 官方 30 倍是 GPT-3 175B + NVLink + FP8 + 大 batch 的极限值;Jarvis Labs 4 月 Qwen3-32B FP8 实测是 4 倍,Qwen3-8B BF16 是 2.29 倍——模型越大、精度越激进,差距越大。
• 2026 年 7 月一手 H100 SXM5 80GB 报价 $35K–$40K(CloudZero 2026-05),H100 PCIe 80GB 一手 $25K–$30K,二手 H100 已跌到 $6K–$22K,与 A100 80GB 二手价高度重叠。
• 双卡 A100 80GB SXM4 在 70B 推理上跑得动但跑不快——NVLink 600 GB/s 桥接 + PCIe Gen4 主机通道会让双卡 attention 的加速比掉到 1.5–1.8,而不是理论 2 倍。
• H100 SXM5 + NVLink Switch System 是 70B+ 全精度推理的唯一正解——8 张 80GB 共 640GB 等效显存,900 GB/s 全互联带宽,大 batch 下 FP8 + Transformer Engine 是工业事实标准。
• 云 hourly H100 中位 $2.29–$3.12/hr(Thunder Compute 2026-07),按 18 个月 24×7 满载折算 $35K–$50K——与一手 H100 整机摊销相当,所以云租 vs 自建的临界点是「年使用率 × 单价 vs 整机摊销」,不是 GPU 单卡价格本身。

六、行业影响

2026 年的 GPU 二手市场已经从「清库存」变成「战略采购」:Blackwell B200 全面铺货后,H100 SXM5 在 eBay、Compute Exchange 的中位价从 2023 年末的 $40K 一路跌到 $12K–$22K,A100 80GB 二手更已逼近 2020 年首发价的 40%。对中等规模 AI 公司来说,「8 张二手 H100 集群」(总价 $100K–$150K)在 Qwen3-70B、Llama-3-70B 全精度推理上,提供了接近 DGX H100 一手 8 卡系统($350K–$400K)80% 的吞吐,但成本降到 1/3。

另一方面,NVLink 互联仍然是大模型推理不可绕开的硬约束。这意味着:即便你愿意为便宜付出代价,Ampere 架构的双卡 NVLink 在跨卡 attention 上的物理上限(600 GB/s + 4 卡全互联才 96 GB/s)无法用软件抹平——H100 在多卡推理场景的领先地位至少持续到 Blackwell 量产铺货完成,预计 2027 年下半年才会出现拐点。

七、结语

回到开头的工程问题:80GB 预算,买 1 张 H100 SXM5 还是 2 张 A100 80GB?如果你的模型 ≤ 70B、接受 FP8、显存够单卡放下,H100 SXM5 PCIe 二手或一手是稳赢;如果坚持 FP16/BF16、需要 160GB 等效显存跑 70B,双卡 A100 SXM4 桥接是 2026 年最便宜的合规方案,但要接受 1.5–1.8 倍而不是 2 倍的跨卡加速;再往上,70B+ 全精度只能选 H100 SXM5 + NVLink Switch,没有第二条路。Blackwell B200/B300 把 H100 二手价砸到了 $6K–$22K,但 NVLink 互联这堵墙,要到 2027 年下半年才可能被下一代架构真正推平。

参考资料

官方文档

• NVIDIA H100 Tensor Core GPU - 2026-07
• NVIDIA A100 Tensor Core GPU - 2026
• SemiAnalysis InferenceX gpt-oss 120B H100 vs H200 - 2026-04

开源项目

• vllm-project/vllm - 84.9k stars
• ggml-org/llama.cpp - 119k stars

行业报道

• Thunder Compute: NVIDIA H100 Pricing (July 2026) - 2026-07
• CloudZero: H100 GPU Cost In 2026 - 2026-05
• Modal: How much is an Nvidia A100? - 2024-10
• Jarvis Labs: H100 vs A100 GPU Benchmarks (2026) - 2026
• Lyceum Technology: H100 vs A100 Cost Efficiency - 2026
• Reddit r/LocalLLaMA: Used A100 80GB Prices Don't Make Sense - 2025-05

社区讨论

• HN Algolia: H100 SXM vs Telum II inference - 2025-04
• 知乎专栏: A100/H100 太贵,何不用 4090? - 2023

对比基准

• SemiAnalysis InferenceX Articles - 2026-04
• vLLM Blog: SemiAnalysis InferenceMAX Blackwell Inference - 2025-10

本文由 AI 生成。内容基于公开资料整理,可能存在事实偏差,引用链接请以原始来源为准。