By 黄金金枪鱼 
Meta 把 Llama 4 写成了一张「同激活、异专家」的对照表：Scout 17B×16E、Maverick 17B×128E，两个模型推理时只激活 17B 参数，权重盘却相差近 4 倍。
一、核心事件：Meta 一次性铺出两个 MoE
2025 年 4 月 5 日，Meta 在官方模型仓库 meta-llama/llama-models 的 models/llama4/MODEL_CARD.md 中正式落地 Llama 4 系列，同步在 Hacker News「The Llama 4 herd」讨论里拿到 1235 分、658 条评论，是 2025 年上半年开源大模型发布里讨论密度最高的一条。
两个模型的形态完全相同：都是原生多模态 + 自回归 MoE 架构，都用 early fusion 把图像塞进预训练阶段。区别只在专家数与上下文长度：Scout 17B 激活 / 109B 总量 / 16 专家 / 10M 上下文 / ~40T 训练 token；Maverick 17B 激活 / 400B 总量 / 128 专家 / 1M 上下文 / ~22T 训练 token。
模型卡里 12 种支持语言（阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语、越南语），但预训练语料覆盖 200 种语言——这是「明确支持」与「可以微调」之间的工程区隔，不是营销口径。
二、技术解析：同激活、异专家的真实工程含义
模型卡明示的预训练算力账是 7.38M H100-80GB GPU 小时（TDP 700W），按 Scout 与 Maverick 的两段训练分别计费。这是个相对克制的数字：相比传闻中 Llama 3 70B 训练时超过 30M H100 小时的体量，MoE 化 + sparse activation 直接把单位参数成本压到了稠密模型的 1/4 量级。
/models/llama4/MODEL_CARD.md 的「Quantization」一节给出两个落地数字：
- Scout 108B BF16 权重可在单卡 H100 配合 on-the-fly int4 量化运行
- Maverick 400B 权重需 BF16 双机配置或进一步量化
128 专家 vs 16 专家的差异，本质上是把「每次前向要路由到多少个 expert」做了一次乘法。社区在 HN 上反复提及的代价是：Maverick 的推理延迟对 KV cache 与并行策略更敏感，工程团队必须重写 inference 路径才能跑出标称吞吐——这也是为什么 meta-llama/llama 推理仓库到 2025 年初才把 Llama 4 路径打 stable。
三、关键点
- 17B 激活、400B 总量：Maverick 是 Meta 首个工业级 128 专家 MoE，把「稀疏激活」从研究层拉到可商用基座
- 7.38M H100 小时：相比同代稠密模型，单位参数算力压到 ~1/4，是 MoE 路线的核心收益
- 10M 与 1M 双上下文档位：Scout 主打长上下文（10M），Maverick 主打高密度多模态（1M）
- 「同激活、异专家」的产品分层：Meta 用一个激活量撑出 Scout/Maverick 两档，比 Llama 2/3 的「7B/13B/70B 全稠密」更节省推理算力
- 自定义 Llama 4 社区许可证：继续走「开放权重 + 商业限制」中间路线，不是 OSI 开源定义，欧盟监管层面仍有合规争议
四、行业影响
Meta 这一发把开源社区的注意力从「谁的稠密基座更大」彻底转向「谁的 MoE 推理栈更稳」。Hugging Face、vLLM、SGLang、llama.cpp 在 2025 年下半年相继补齐 128 专家路由与 FP8 推理路径——但所有这些进展都默认了一个前提：你能跑得动 400B 权重的 BF16 装载。这反而让端侧部署的话语权回到了 7B-32B 稠密档（Qwen3-32B、Gemma 4 31B、Llama 3.3 70B）那一端，MoE 暂时仍是「云上能跑、端上跑不动」的代表。
五、结语
Llama 4 不是一次模型发布，是 Meta 押注的「MoE + 多模态 + 自定义许可证」组合拳在产业层的首次完整亮相。它真正回答的问题不是「开源模型能不能赶上闭源」，而是「开源模型能不能用更便宜的算力，做出闭源必须付出更高成本才能做出的产品形态」。下一步的胜负点不在 17B 激活是否够大，而在 128 专家的路由效率与端侧量化能不能在 2026 年内被工程化压平。
参考资料
官方文档
- The Llama 4 Herd: Architecture, Training, Evaluation, and Deployment Notes (arXiv 2601.11659) [200] - 2025-04-05
- Llama 4 MODEL_CARD.md (GitHub API) [200] - 23,764 字节，含 17B×16E / 17B×128E 参数表 + 7.38M H100 小时算力表
开源项目
- meta-llama/llama-models (GitHub API) [200] - 7,678 stars，Llama 4 官方权重与推理脚本仓库
- meta-llama/llama (GitHub API) [200] - 59,557 stars，Llama 系列推理代码库
- meta-llama/llama-cookbook (GitHub API) [200] - Llama 4 应用示例与微调 recipe
行业报道
- HN Algolia: Llama 4 部署生态聚合 [200] - 2025-04，第三方推理服务商在 Llama 4 发布首周的部署动态（Groq / Fireworks / Together 等）
社区讨论
- HN: The Llama 4 herd (1235 pts / 658 cmt) [200] - 2025-04-05，Meta 官方发布帖的 HN 讨论（hn.algolia.com Algolia 镜像，news.ycombinator.com 直连被墙）
对比基准
- HN Algolia: 同期开源 MoE 模型讨论池 [200] - 2025 同期 Mixtral / DeepSeek-MoE / Qwen3-MoE 对比讨论
本文由 AI 生成。内容基于公开资料整理，可能存在事实偏差，引用链接请以原始来源为准。