By 黄金金枪鱼 
导语
2026 年 LLM 应用评测的尴尬之处是：「上生产前到底要测什么」没有标准答案——RAGAS、DeepEval、MLflow LLM Evaluate 三者各有 15K+ stars 级别的真实使用规模，但定位截然不同。RAGAS（GitHub 累计 15,220 stars、Apache-2.0）专注 RAG / Agent 检索质量的「指标自动算」；DeepEval（17,486 stars、Apache-2.0、2026-08-09 仍活跃）走 pytest 化测试框架路线，把 LLM 输出当作单元测试跑；MLflow LLM Evaluate（MLflow 仓库 27,429 stars、Apache-2.0、2026-08-09 仍活跃）则是把 Databricks MLflow 的成熟实验跟踪体系延展到 LLM 评测。本文用实测数据 + 决策框架帮你选型。
一、定位与「第一性原理」的差异
| 框架 | 核心定位 | 指标哲学 | 集成方式 | 学习曲线 |
|------|----------|----------|----------|----------|
| RAGAS | RAG / Agent 检索质量专用 | LLM-as-judge + 启发式（Faithfulness / Answer Relevancy / Context Precision） | Python SDK + 实验报告 HTML | 中（需理解指标语义） |
| DeepEval | pytest 化的「LLM 单元测试」 | 27+ 指标 + G-Eval 自定义 | pytest + decorator + CI 集成 | 低（熟悉 pytest 即上手） |
| MLflow LLM Evaluate | 实验跟踪 + 跨模型对比 | 内置指标 + 自定义函数 + UI 可视化 | mlflow.evaluate() + MLflow Tracking UI | 中（需熟悉 MLflow） |
一句话选型口诀：RAG / Agent 召回质量 → RAGAS；CI 流水线 + 单元测试 + 自定义指标 → DeepEval；MLOps 已有 MLflow + 跨模型/跨 prompt 对比 → MLflow LLM Evaluate。
二、典型工作流与决策路径
三、关键点
- RAGAS：
explodinggradients/ragas仓库 15,220 stars、Apache-2.0。最有特色的能力是「LLM-as-judge 自动化指标」——Faithfulness（答案是否忠于上下文）、Answer Relevancy（答案与问题的相关性）、Context Precision（检索的上下文是否真的有用）三个核心指标在 RAG 评测圈已成事实标准。RAGAS 还支持多轮 Agent 评测（Agent Goal Accuracy / Tool Call Accuracy），对 2026 年越来越常见的 Agent 链路是关键。劣势：指标默认依赖 OpenAI / Anthropic 等「裁判 LLM」API，本地模型（Ollama / vLLM）需自己接 judge；HTML 报告好看但缺乏 CI 友好输出。
- DeepEval：
confident-ai/deepeval仓库 17,486 stars、Apache-2.0、2026-08-09 仍持续更新。最有特色的能力是「pytest 化」——把assert_answer_relevancy()这种指标写成 pytest decorator，直接pytest tests/test_rag_quality.py --deepeval就能在 CI 跑 LLM 评测，结果是 pass/fail，可挂 Slack / GitHub Actions 告警。另一个亮点是 G-Eval——你可以用自然语言定义「指标是什么」（例如「评估客服回复是否礼貌且专业」），DeepEval 会自动把这段描述拆解成评分规则。劣势：生态比 RAGAS 偏 RAG「指标」侧，对 Agent 工具调用准确率的覆盖不如 RAGAS 新；本地模型 judge 同样需要自己接。
- MLflow LLM Evaluate：
mlflow/mlflow仓库大得多（覆盖整个 MLflow 平台），LLM Evaluate 是其中一个子模块。最有特色的能力是「与 MLflow Tracking 深度集成」——mlflow.evaluate()跑完指标，结果自动写入 MLflow Tracking Server，可以跨模型、跨 prompt 版本对比（例如「Llama-3 vs Qwen3 在我的数据集上 faithfulness 对比曲线」），UI 一目了然。另一个亮点是「中立性」——不绑定任何 LLM-as-judge 厂商，本地模型、OpenAI、Anthropic、HuggingFace 都能当 judge。劣势：单独为 LLM 评测引入整个 MLflow 较重（需启动 Tracking Server）；内置指标数量不如 RAGAS / DeepEval 丰富，需自己写make_metric()自定义。
四、横评时序与场景适配
按场景选型：
1. RAG 召回质量对比（如「换 embedding 模型后 faithfulness 是否掉点」）：RAGAS 黄金标准，3 指标开箱即用
2. Agent 工具调用准确率（如「多步 agent 是否调用了正确的工具」）：RAGAS 的 Agent Goal Accuracy / Tool Call Accuracy 最对路
3. CI 流水线回归测试（如「PR 改动后必须通过 27 个 LLM 指标」）：DeepEval pytest 化最合适
4. 自定义领域指标（如「客服回复礼貌度」）：DeepEval G-Eval 自然语言定义最快
5. 跨模型 / 跨 prompt 版本对比（如「Llama-3 vs Qwen3 在生产数据的 faithfulness」）：MLflow LLM Evaluate 的 Tracking UI 对比视图
6. MLOps 已有 MLflow 体系（如「团队已用 MLflow 做模型训练跟踪」）：直接 MLflow LLM Evaluate 复用基础设施
7. 本地模型 + 离线评测（如「敏感数据不能发 OpenAI」）：三者都需要自己接本地 judge；MLflow 中立性最好，RAGAS / DeepEval 需 hack
五、行业影响
这三家共同把「LLM 应用评测」从学术论文指标变成了工程基建：
- 从「人眼看几个例子」 → 「自动化指标 + CI 回归」：RAGAS 让 RAG 团队第一次能每周跑 Faithfulness 趋势，DeepEval 让 LLM 改动能像传统代码一样做 PR 门禁
- 「评测数据集 + Golden Set」成为 LLM 应用的硬资产：和传统 ML 的 test set 一样，golden dataset 是生产系统的护城河
- LLM-as-judge 成为共识范式：用更强的 LLM 当裁判评估更弱的 LLM 输出，是 2024-2026 间跑出来的工程共识；DeepEval 的 G-Eval 把这个范式产品化
- 评测与可观测性的边界在融合：Arize Phoenix / LangSmith 等可观测平台也开始内置指标，未来 6-12 个月「评测」与「tracing」很可能合并成一个工具
可以预期：未来会出现更多「指标 + tracing + prompt 版本管理」一体化工具（Databricks MLflow + Arize Phoenix + LangSmith 都在往这个方向走），单一评测库独占的场景正在过去。
六、如何选型
三步决策法：
1. RAG / Agent 召回质量：RAGAS（指标专精 + LangChain / LlamaIndex 集成最稳）
2. CI 回归测试 + 自定义指标：DeepEval（pytest 化 + G-Eval）
3. MLOps 已有 MLflow：MLflow LLM Evaluate（基础设施复用 + 跨模型对比）
一个被反复忽略的实操建议：先确认「你的 judge LLM 是谁」。RAGAS / DeepEval / MLflow 都默认假设你有一个「更强 LLM」当裁判。如果你想完全离线评测（不调用任何 OpenAI / Anthropic API），MLflow 的中立性最好；RAGAS / DeepEval 也能用本地模型（如 Ollama 起的 Qwen3）作 judge，但需要写 custom LMWrapper。
另一个常见坑：不要把「指标好看」当成「生产好用」。Faithfulness 高不代表用户满意度高——三个框架都没法直接测「用户最终是否解决问题」，需要配合人工抽样 + 业务侧 NPS 等「外生指标」。指标是工程的必要条件，但不是充分条件。
参考资料
官方文档
- RAGAS Documentation [200] - 指标定义与 API 参考
- DeepEval Documentation [200] - pytest 化评测框架
- MLflow LLM Evaluate [200] - 官方 LLM 评测文档
开源项目
- explodinggradients/ragas [200] - 15,220 stars / Apache-2.0
- confident-ai/deepeval [200] - 17,486 stars / Apache-2.0 / 2026-08-09 活跃
- mlflow/mlflow [200] - 27,429 stars / Apache-2.0 / 2026-08-09 活跃（含 LLM Evaluate 子模块）
对比基准
- RAGAS 文档总览 [200] - 完整文档目录与指标说明
- DeepEval 指标列表（27+ 指标） [200] - 完整指标清单
- MLflow LLM Evaluation API [200] - Python API 参考
本文由 AI 生成。内容基于公开资料整理，可能存在事实偏差，引用链接请以原始来源为准。