Agent Evaluation Harness

What is it（这是什么）

Agent Evaluation Harness 是"智能体评测夹具"：一套可复现、可脚本化的测试框架，用来跑 Agent 在真实任务上的表现，而不只是看它在静态 benchmark 上的分数。传统 benchmark 给你一个分数，harness 给你的是"为什么失败、在哪一步失败、改哪一行 prompt 或工具定义能修好"。它把评测从"考试打分"变成"回归测试 + 调优回路"。

技术本质是三层：任务/环境沙箱（如 ToolSandbox 模拟工具调用）、可复现的执行记录（trace、状态快照）、eval 驱动的调优接口（Harness Tuner 的路数——用评测结果自动反推配置）。商业意义在于：Agent 一旦进入生产，团队就必须回答"这次改动有没有把上周修好的 bug 弄回来"，这正是 harness 的付费理由。

Why now（为什么现在出现）

三个条件在 2026 年同时成熟。第一，Agent 从 demo 走向生产：2025 年大量团队把 LLM 包上工具调用就上线，2026 年开始被"改一处崩三处"折磨，静态 benchmark 的分数与线上表现严重脱节。第二，评测基准本身在进化：OpenRE-Bench、ToolSandbox 这类带环境交互的基准出现，说明社区已经意识到"单轮问答式评测"不够用，需要可执行的 harness。第三，成本结构变了：推理价格持续下降，让"每次提交都跑 200 个评测任务"从奢侈变成日常 CI 的一环。

为什么不是一年前？一年前 Agent 还没普遍进生产，评测是研究问题；为什么不是一年后？一年后 LangSmith、Braintrust 这类平台大概率已经把 harness 做成标配功能，独立开发者的窗口就是现在这 6-12 个月。

Market Evidence（市场证据）

信号质量：中等偏强，但样本极小。4 个独立信源（showhn、arxiv、producthunt、semanticscholar）各贡献 1 次提及，共 4 次，增长率 100%——注意这是从 1 到 2 或从 2 到 4 的小基数增长，100% 的含金量远低于大基数下的 100%。

但信源结构值得重视：arXiv 和 Semantic Scholar 代表学术侧在产出方法论（OpenRE-Bench、ToolSandbox），Show HN 和 Product Hunt 代表有人在把它做成产品（Harness Tuner、three.dev 的失败检测）。学术 + 产品双线并进，是真实需求而非纯社区热点的典型特征。

成熟度 nascent 是准确的：还没有公认的标准、没有主导产品、没有形成品类名。趋势分 79/100 说明信号强度不错，但机会分、市场分、竞争分、需求分全部为 0/100——这是数据缺失而非市场不存在，恰恰意味着还没有人系统性地量化这个赛道。

判断：这是真实需求的早期信号，不是昙花一现的热点。 理由：评测是工程刚需，不是消费级潮流，需求不会因为话题冷却而消失。

Who's Behind It（谁在推动）

学术侧是地基：OpenRE-Bench 与 ToolSandbox 提供了可复现的任务环境与工具调用沙箱，定义了"什么叫好的 harness"。产品侧是探路者：Harness Tuner 主打 eval 驱动的自动调优，three.dev 主打失败检测，两者都在把评测从"报告"变成"动作"。

平台侧是最大的潜在庄家：LangSmith、Braintrust、Weights & Biases 这类 LLM 可观测性平台已经有 trace 数据和客户关系，把 harness 加进来是顺理成章的功能扩展。它们目前没有专门的 harness 产品线，这就是空档。

开源社区（LangChain 生态、AgentOps）是变量：一旦有人做出开箱即用的开源 harness，商业化空间会被压缩到"托管服务 + 团队协作"层。

TAM & Market Size（市场规模）

潜在用户分三层。第一层：有 Agent 在生产环境运行的工程团队，全球估计数千到一万家（含中小 SaaS、AI 原生创业公司），这是核心付费层。第二层：正在做 Agent 但还没上生产的团队，规模大 3-5 倍，是免费增值的漏斗。第三层：学术与评测研究者，付费意愿低但内容与口碑价值高。

付费意愿：明确且预算现成。这些团队已经在为 LangSmith、Braintrust 付月费（通常 $50-500/月/团队），harness 是同一预算池里的新条目，不需要教育市场"为什么要为评测花钱"。CI 集成类工具在开发者预算里属于"不买就出事"的品类，续费率天然高。

市场规模处于增长期：Agent 部署量在涨，评测需求随之线性甚至超线性增长。数据里的机会分、需求分为 0/100 是量化缺失，不构成对市场规模的否定证据。

Competitive Landscape（竞争格局）

三类玩家。平台型（LangSmith、Braintrust、W&B Weave）：有数据、有客户、有品牌，但产品重心在可观测性，harness 是附属功能，不会为"可复现的回归测试"做深度优化——这是它们最大的软肋。垂直工具型（Harness Tuner、three.dev）：方向对，但都还很早期，功能单点，没有形成完整闭环。开源方案（AgentOps 等）：免费但需要自托管，企业采购流程里反而更难落地。

市场空白很清楚：面向 CI/CD 的 Agent 回归测试——把 harness 做成"Agent 的单元测试"，接 GitHub Actions，每次 PR 自动跑、自动对比基线、自动标红回归。现有玩家都在做"评测分析面板"，没人把"回归拦截"做成第一功能。

大公司会不会做？会，但节奏慢。LangSmith 加这个功能需要 6-12 个月的产品排期。你的窗口就是这段时间，做深一个垂直场景（比如只服务工具调用密集的 Agent），比做通用平台更可能活下来。

Business Model（商业模式）

推荐：订阅制 + 按评测执行量计费的混合模型。 纯订阅留不住小团队，纯按量让大客户成本不可预测，混合模型两头都照顾：基础席位费保证收入底盘，执行量计费随客户成长自然扩张。

定价建议（锚定 LangSmith 的 $39/seat/月 和 Braintrust 的企业报价）：

• Free：1 个项目、每月 500 次评测执行、7 天 trace 保留——用于漏斗获客
• Starter $49/月：3 个席位、5,000 次执行/月、CI 集成、基线对比
• Team $199/月：10 个席位、50,000 次执行、私有部署 runner、Slack 告警
• Enterprise 定制：自托管、SSO、审计日志，起价 $1,500/月

12 个月收入预测（假设第 3 个月上线）：保守 40 个付费客户、ARPU $80 → 年化约 $3.8 万；基准 120 个付费、ARPU $95 → 约 $13.7 万；乐观 300 个付费、ARPU $110 → 约 $39.6 万。

获客成本：开发者工具靠内容 + 开源 + Show HN，CAC 估计 $80-150；按 Starter 档回本周期约 2-3 个月，健康。

MVP Blueprint（MVP 蓝图）

核心功能（只做这五个）：

1. 任务定义文件（YAML/JSON）：输入、期望输出、可用工具列表
2. 执行器：调 LLM + 工具，记录完整 trace（每步输入输出、工具调用参数）
3. 断言引擎：精确匹配、LLM-as-judge（用便宜模型打分）、工具调用序列校验
4. 基线对比：本次运行 vs 上次运行，标出新增失败和修复项
5. CLI + GitHub Action：harness run 一条命令跑全量，PR 里贴结果评论

技术栈： Next.js（仪表盘）+ Python（执行器，生态最全）+ Postgres（trace 存储）+ Vercel/Fly.io 部署。执行器用 Python 是因为 LLM SDK 和评测库都在 Python 生态。

最快路径： 不做 Web UI 先做 CLI + GitHub Action，用 npm/PyPI 分发，Show HN 首发。仪表盘第二周再加。任务定义格式抄 pytest 的极简哲学，别自创 DSL。

砍掉： 可视化 trace 时间线、多模型对比、团队权限、付费墙——全部留到有 10 个真实用户之后。

Commercial Opportunities（商业化机会）

方向一：Agent CI 回归测试服务。 产品：接 GitHub Actions 的评测 runner，每次 PR 自动跑、自动拦截回归。用户：有 2-10 人工程团队、Agent 已上线的 AI 创业公司。预期月收入 $2,000-8,000（40-80 个 Starter 客户）。优势：切的是"不买就出事"的痛点，续费率最高。

方向二：垂直行业评测数据集 + harness。 产品：预置客服、代码生成、数据分析三个场景的评测任务包，开箱即用。用户：不想自己写 200 个测试用例的团队。预期月收入 $1,500-5,000。优势：数据是护城河，客户迁移成本高。

方向三：开源 harness + 托管版。 产品：MIT 协议的核心执行器，托管服务和团队协作收费。用户：开源偏好强的团队。预期月收入 $1,000-6,000。优势：开源是开发者工具最快的获客渠道，托管版转化率通常 2-5%。

Product Ideas（产品创意）

🥇 AgentGuard — "Agent 的 CI 守门员：每次 PR 自动跑评测，回归当场拦截。" 目标用户：已上线的 Agent 团队，场景是代码合并前的自动化质量门。时机对的理由：现有玩家都做分析面板，没人做拦截，且 GitHub Actions 生态成熟可直接复用。定价 $49/月起。

🥈 EvalKit — "200 个现成评测任务，让你的 Agent 第一天就有回归测试。" 目标用户：刚上线 Agent、不知道测什么的团队。场景是评测用例库 + 一键接入。时机对的理由：OpenRE-Bench 等学术基准证明了任务设计方法论，但没人把它产品化成开箱即用的数据集。定价 $29/月或 $199 一次性买断。

🥉 Harness Tuner Lite — "评测结果直接告诉你改哪行 prompt。" 目标用户：独立开发者和小团队。场景是自动调优建议。时机对的理由：Harness Tuner 已验证方向但偏重，轻量版有空间。定价 $19/月。优先级最低，因为调优建议的准确性依赖大量数据，小团队做不深。

SEO Opportunity（SEO 机会）

搜索量趋势：上升但基数低，属于早期词。有价值的长尾词：agent evaluation harness、LLM agent regression testing、agent eval CI github actions、how to test AI agents、agent benchmark vs harness。竞争程度极低（SEO 难度 0/100），几乎无内容竞争。策略：写"如何给 Agent 写回归测试"的实操教程页 + 对比页（vs LangSmith），教程页拿长尾流量，对比页拿购买意图流量。

Risk Assessment（风险评估）

判断可能错在哪： 如果 Agent 部署在 2027 年没有继续放量，评测需求会停留在"大厂内部工具"层面，独立产品没有市场。

三大风险： 技术风险——LLM-as-judge 的准确性不稳定，客户可能不信任自动断言，需要投入做校准；市场风险——LangSmith 或 Braintrust 在 6 个月内把 harness 做成免费标配，直接抹平独立产品空间；执行风险——评测是脏活，任务定义、沙箱、结果解释都费工，容易做成半成品。

最低成本验证： 两周内做一个只支持 3 个任务的 CLI，在 5 个 Agent 团队里试用，看他们是否愿意为"PR 自动拦截"付 $49/月。愿意付费 ≥2 家就继续。

放弃信号： 三个月内付费客户 < 5 家，或平台型玩家发布同类免费功能，立刻停。

Action Plan（行动建议）

第一步（今天）： 在 GitHub 搜 10 个活跃的 Agent 开源项目，读它们的 issue 里关于"测试""回归""flaky"的抱怨，抄下真实痛点原话。

低成本验证（第一周）： 写一个 200 行的 Python CLI，支持 YAML 任务定义 + LLM-as-judge 断言 + 基线对比，在 3 个开源 Agent 项目上跑通，把结果发到 Show HN 和 r/LocalLLaMA。

信号确认后（第一个月）： 加 GitHub Action 集成，做落地页 + 定价页，目标 10 个免费用户、2 个付费。第三个月： 上线仪表盘和团队协作，目标 40 个付费客户、MRR $3,000。如果第三个月 MRR 低于 $1,000，转向方向二（垂直评测数据集）。

Related Terms（相关趋势）

• LLM Evaluation Benchmark — 父领域，harness 是 benchmark 的可执行化演进
• Agent Observability — 互补关系，trace 数据是 harness 的输入，平台型玩家在此布局
• ToolSandbox — 子领域/依赖，提供工具调用沙箱环境，是 harness 的执行底座
• Harness Tuner — 竞争/衍生关系，eval 驱动调优是 harness 的上层应用