Model Routing

What is it（这是什么）

Model Routing 是在多个 LLM 之间动态分配请求的中间层技术：系统根据任务类型、复杂度、成本预算和延迟要求，自动把每个请求路由到"够用且最便宜"的模型上。核心洞察是——编码任务中只有约 10-20% 需要顶级模型，其余 80% 完全可以交给便宜 25 倍的模型处理，效果差异在多数场景下用户感知不到。技术上它是一个带分类器和规则引擎的 API 网关，商业上它是 LLM 成本结构里最直接的"节流阀"：不改变产品体验，直接把推理账单砍掉一半以上。对独立开发者而言，这意味着可以用极低成本构建 AI 产品，也意味着一个全新的中间件品类正在形成。

Why now（为什么现在出现）

三个条件在 2026 年同时成熟。第一，模型供给爆炸：OmniRoute 已聚合 375 家供应商，OpenAI、Anthropic、Google、DeepSeek、Qwen 及数十家开源推理服务商形成价格梯度，同一能力档位的价差可达 25 倍，路由才有套利空间。第二，Agent 工作流普及：编码 Agent 单次任务动辄几十次模型调用，成本被放大 10-100 倍，开发者对"每次调用花多少钱"从无感变成剧痛。第三，任务分类技术成熟：基于 token 长度、语法特征和轻量分类器的路由决策准确率已足够高，误路由的代价被压缩到可接受范围。一年前供应商数量不足、Agent 调用量不够大；一年后主流云厂商可能已把路由内置进平台。这个窗口期大约 12-18 个月。

Market Evidence（市场证据）

当前信号呈现"早期但真实"的特征。3 个独立信源（arxiv 学术论文、devcommunity 社区讨论、github 开源项目）各贡献 1 次提及，总量仅 3 次——这是典型的 nascent 阶段信号，说明概念尚未破圈，但已经在技术最前沿的三个平台同时出现，方向一致性高。增长率 100% 在基数极小时参考价值有限，但结合"编码任务路由到便宜 25 倍模型"这一具体、可验证的成本主张，以及 OmniRoute 375 家供应商的聚合事实，可以判断这不是空泛的概念炒作，而是有明确商业动机的技术实践。趋势分数 69/100 处于中上区间，说明信号强度足够但尚未形成社区共识。结论：真实需求，早期阶段，现在入场是做定义者而非跟随者的时机。

Who's Behind It（谁在推动）

推动力量分三层。基础设施层是 OmniRoute 这类多供应商聚合网关，它解决"接得上"的问题，是路由的前提；模型层是 DeepSeek、Qwen 等低价高质模型提供商，它们主动降价争夺 Agent 流量，是路由的经济基础；应用层是 Cursor、Cline、Aider 等编码 Agent 工具，它们有最强的降本动机。开源社区（github 信源）贡献了路由规则和分类器的参考实现，学术侧（arxiv）提供任务难度评估的方法论。当前没有单一"庄家"——这正是机会所在：聚合层尚未形成标准，谁先做出开发者默认使用的路由 API，谁就占据 LLM 调用链的关键卡位。

TAM & Market Size（市场规模）

潜在用户是全部构建 LLM 应用的开发者和团队。全球活跃的 AI 应用开发者保守估计 200-300 万人，其中编码 Agent 和 copilot 类产品的开发者约 30-50 万，这是最痛、付费意愿最强的核心群体。付费逻辑极其清晰：路由服务抽成或订阅费只要低于它节省的成本，客户就有净收益。一个每月 LLM 账单 2000 美元的团队，路由后降到 600 美元，付 100-200 美元订阅费仍净省 1200 美元以上。市场处于高速增长期，随 Agent 调用量指数上升而扩大。注意机会分、需求分当前均为 0/100，这是数据缺失而非需求为零——早期术语的评分体系尚未积累足够样本，应以信源质量和成本主张的硬度为准。

Competitive Landscape（竞争格局）

竞争分 0/100 同样反映早期数据缺失，但实际格局可以判断：直接竞品稀少，OpenRouter 做的是模型聚合与统一计费，尚未深度做任务级智能路由；LiteLLM 提供多模型调用抽象，路由是静态配置而非动态决策；各家云厂商的 AI Gateway（如 Cloudflare AI Gateway）在做缓存和可观测性，智能路由是下一步。空白点明确：面向编码场景的、开箱即用的动态路由层还没有默认赢家。大公司一定会做——云厂商有动机把路由绑定到自家模型生态，但它们的路由天然偏向自家模型，中立第三方路由反而有生存空间。时间窗口 12-18 个月，独立开发者的机会在于先发做垂直场景（编码）的深度优化，而非通用路由。

Business Model（商业模式）

推荐 用量抽成 + 订阅双轨制。核心逻辑：路由的价值可直接量化为节省的美元，抽成 10-15% 的节省额最容易被接受，同时提供 49-99 美元/月的固定订阅给用量稳定的团队。定价依据：目标客户月 LLM 支出 500-5000 美元，路由节省 50-70%，抽成后客户净省 35-60%，价值主张无懈可击。12 个月收入预测：保守 30 个付费客户 × 平均 80 美元 = 2400 美元/月；基准 120 客户 × 100 美元 = 1.2 万美元/月；乐观 400 客户 × 120 美元 = 4.8 万美元/月。获客成本估算：通过 GitHub 开源核心 + 技术博客 SEO，CAC 可控制在 50-150 美元，付费客户回本周期 1-2 个月，属于健康区间。

MVP Blueprint（MVP 蓝图）

核心功能只保留四项：1）OpenAI 兼容的 /v1/chat/completions 代理端点，客户改一行 base_url 即可接入；2）基于规则的分类器——按 prompt token 数、是否含代码块、任务关键词（如"重构""解释"）打标签；3）路由表配置：把标签映射到模型（如简单任务→DeepSeek，复杂重构→Claude），支持成本上限；4）用量与节省额仪表盘，实时展示"本月省了多少钱"。砍掉：自动学习型分类器、A/B 效果对比、多租户计费系统（MVP 阶段用 Stripe 手动开票）。技术栈：TypeScript + Hono（轻量 HTTP 框架）+ SQLite/Postgres（用量日志）+ Vercel 部署，前端用 Next.js 模板。最快路径：fork LiteLLM 的代理层，替换路由逻辑为规则引擎，3-5 天可上线。产品形态按建议走 API 优先，SaaS 仪表盘作为第二周增量。

Commercial Opportunities（商业化机会）

方向一：编码 Agent 专用路由 API。目标用户是构建 Cursor 类产品的独立开发者和小团队，预期月收入 3000-15000 美元。优于通用路由，因为编码任务特征明确、分类准确率高、客户成本痛感最强。

方向二：路由策略托管与调优服务。面向已有自建路由但效果不佳的团队，提供"路由审计 + 策略优化"的咨询加工具订阅，预期月收入 2000-8000 美元。优势是轻资产、高毛利，用诊断报告作为获客钩子。

方向三：成本可观测性 SaaS。不直接做路由，而是做"你的 LLM 账单花在哪、路由能省多少"的分析工具，免费版引流、付费版给优化建议，预期月收入 1000-5000 美元。优势是切入门槛最低，可作为路由产品的漏斗前端。

Product Ideas（产品创意）

🥇 RouteWise — "改一行 base_url，LLM 账单立减 60%"。目标用户是编码 Agent 开发者和 AI 应用初创团队，场景是每次上线前被推理成本卡住预算。现在做对的时机：供应商价差达 25 倍、Agent 调用量爆发、尚无编码领域默认路由品牌。

🥈 TokenAudit — "先看清你的 LLM 钱花在哪，再决定怎么省"。面向所有月账单超 500 美元的 AI 团队，提供调用分析、路由模拟器和节省预测。时机对是因为诊断需求先于路由需求出现，是低成本获客入口。

🥉 RouteBench — "你的路由策略真的选对模型了吗"。开源基准测试工具，评估不同路由规则在真实编码任务上的成本-质量曲线，靠 GitHub 星标建立技术信誉，导流到商业产品。时机对是因为社区急需客观的路由效果数据，标准尚未形成。

SEO Opportunity（SEO 机会）

搜索量趋势上升，术语处于早期，竞争极低（SEO 难度 0/100 反映样本不足，但实际竞争确实稀少）。有价值的长尾词："llm model routing cost saving"、"route coding tasks to cheaper models"、"openrouter alternative routing"、"llm router typescript"、"reduce llm api cost agent"。内容策略：优先做带真实成本数据的对比页（如"Claude vs DeepSeek 编码任务实测成本对比"）和教程页（"如何为你的 Agent 加一层路由"），技术深度内容最容易在 devcommunity 和 GitHub 生态获得反向链接，抢在术语破圈前占住定义权。

Risk Assessment（风险评估）

判断可能出错的情形：模型价格战停止甚至反转（头部模型大幅降价使价差消失），或云厂商把智能路由做成免费内置能力。三大风险：技术风险——误路由导致输出质量下降引发客户流失，需用保守路由策略和可回退机制对冲；市场风险——大厂免费方案挤压独立产品空间，应对是深耕编码垂直场景做深不做广；执行风险——过早入场教育市场成本高，需控制烧钱速度。最低成本验证方式：两周内上线规则路由代理，找 5 个有真实 LLM 账单的开发者免费试用，测量实际节省率和留存意愿。放弃信号：试用者节省率低于 30%，或无人愿意为节省额付费。

Action Plan（行动建议）

第一步（今天）：注册域名、搭一个落地页，用一句话说清"改一行 base_url 省 60% 成本"，挂上邮箱收集表单；同时在 GitHub 搜索现有路由开源项目，评估 fork 成本。第一周：完成规则路由代理 MVP，接入 3 家供应商（OpenAI、DeepSeek、Anthropic），自己先用真实编码任务跑通并记录节省数据。第一个月：找 5-10 个种子用户免费试用，收集节省率数据，发布一篇带真实数据的对比博客，启动 SEO。第三个月：若验证节省率超 50% 且用户有付费意愿，上线计费系统，目标 10 个付费客户、月收入 800 美元；若数据不达标，转向 TokenAudit 诊断工具方向。

Related Terms（相关趋势）

• OmniRoute — 依赖关系，多供应商聚合是 Model Routing 的基础设施前提
• AI Agent — 上层应用关系，Agent 调用量放大是路由需求的核心驱动力
• LLM Cost Optimization — 父领域，Model Routing 是其最有效的技术手段之一