AI Gateway / Model Router

What is it（这是什么）

AI Gateway / Model Router 是架在应用与数百个大模型之间的中间层。开发者只对接一个统一端点（OpenAI 兼容格式），由这层网关负责鉴权、限流、成本计量、日志追踪，并在某个模型超时、限流或宕机时自动回退到备用模型。技术本质是"LLM 流量的反向代理 + 策略路由引擎"，商业意义在于它把"选哪个模型、怎么容错、花多少钱"从应用代码里剥离出来，变成可配置、可观测、可计费的基础设施。对独立开发者而言，它既是降低多模型接入成本的工具，也是一个天然带计费和粘性的 SaaS 切入点。

Why now（为什么现在出现）

三个变化同时发生。第一，模型供给爆炸：2025 年之后主流可调用模型从十来个涨到数百个，闭源（GPT、Claude、Gemini）与开源（Llama、Qwen、DeepSeek）并行，开发者不可能手写适配。第二，成本压力显性化：推理账单成为 SaaS 公司第二大支出，按任务复杂度动态路由到便宜模型能省 40%-70%，这是硬需求而非锦上添花。第三，可靠性成为生产门槛：单一供应商限流和故障频发，自动回退从"高级功能"变成"上线必需"。OmniRoute、Click、GitHub Copilot Fusion 在 2026 年集中出现，正是因为"多模型"已从尝鲜进入默认状态。早一年模型生态不够分散，晚一年大厂已把网关塞进云平台，窗口就在当下。

Market Evidence（市场证据）

信号来自 github 与 producthunt 两个独立信源、共 3 次提及，增长率 100%，趋势分 65/100，阶段判定为 nascent。解读要克制：3 次提及是极早期信号，说明这个词刚被少数开发者命名和讨论，尚未形成社区共识；但两个信源性质不同——GitHub 侧代表工程实践，Product Hunt 侧代表产品化尝试，说明需求同时存在于"自己搭"和"买现成"两端，这比单一平台刷屏更有质量。100% 增长率基数极小，不能当作爆发证据。结论：这是真实但尚未验证的市场需求，属于"值得用一周验证、不值得 all-in"的区间。机会分、市场分、竞争分、需求分均为 0/100，意味着评估体系尚未捕捉到足够数据，反而说明竞争真空。

Who's Behind It（谁在推动）

推动者分三类。产品型玩家：OmniRoute、Click 走"单端点聚合数百模型 + 自动回退"路线，面向开发者做 SaaS，是这个词的主要造势者。平台型玩家：GitHub Copilot Fusion 把多模型路由内嵌进编码助手，代表大厂"网关即功能"的路径。开源与基础设施玩家：LiteLLM、OpenRouter 这类已有项目在事实上承担了网关角色，是隐形庄家。真正的"庄家"尚未出现——没有一家占据心智，OpenRouter 偏模型市场、LiteLLM 偏自托管库，中间"托管式、带成本优化和可观测性"的位置是空的。

TAM & Market Size（市场规模）

潜在用户是全部调用 LLM API 的团队：全球数十万 SaaS 与 AI 应用团队，加上大量独立开发者。付费意愿明确——网关直接关联推理账单，能省钱的工具天然有预算。按"推理支出的一定比例"估算市场：全球 LLM API 支出已达百亿美元级，网关层抽 1%-3% 即为数亿美元 TAM，且随推理量增长而扩张，属增长型市场。但注意：机会分、需求分均为 0/100，说明现有数据不足以支撑乐观测算，真实付费转化要靠自证。细分机会在中小团队——他们没人力自建，又比大客户更在意成本。

Competitive Landscape（竞争格局）

已有玩家分三层：开源库（LiteLLM、Portkey 开源版）功能全但需自托管，运维成本高；模型聚合市场（OpenRouter）强在模型供给，弱在企业级可观测与策略；云厂商（AWS Bedrock、Azure AI Foundry）会把网关做成平台附属功能。竞争分 0/100 反映的是评估数据缺失，不是没有竞争——真正的威胁是"免费开源 + 云厂商捆绑"两头挤压。空白在于：面向中小团队的托管式网关，主打"按任务自动选最便宜可用模型 + 一行代码接入 + 成本看板"，这个组合目前无人做好。大厂会做，但会绑定自家云，跨云中立性是独立开发者的时间窗口，估计 12-18 个月。

Business Model（商业模式）

推荐"免费增值 + 按调用量阶梯订阅"。理由：网关是流量型基础设施，按用量计费与客户价值对齐，免费层（每月 10 万次路由、2 个 provider）负责获客，付费层按路由请求数和托管 provider 数定价。建议定价：Starter $29/月（100 万次路由、5 个 provider、基础看板），Growth $99/月（1000 万次、无限 provider、成本优化策略、团队协作），Scale $299/月起按量议价。依据是同类开发者工具（日志、监控类）的锚点区间。12 个月预测：保守 40 个付费客户约 $2.5k MRR；基准 150 个客户约 $9k MRR；乐观 400 个客户约 $28k MRR。获客以内容 + 开源引流为主，CAC 估 $80-$150，回本周期 2-4 个月。

MVP Blueprint（MVP 蓝图）

核心功能只保留五项：OpenAI 兼容单端点、provider 密钥托管、按优先级/成本的自动回退、请求日志与成本看板、简单 API Key 管理。砍掉：复杂策略 DSL、团队权限、审计合规、自建模型托管。技术栈：Next.js 做控制台，Hono 或 Fastify 做网关代理（Node 生态流式转发成熟），Postgres 存配置与日志，Redis 做限流与健康检查，部署在 Fly.io 或 Railway 以贴近用户降低延迟。最快路径：直接 fork LiteLLM 的 provider 适配层，自己只写控制台、计费和回退策略，省掉 70% 工作量。上线路径：Vercel 部署控制台 + Railway 部署网关，三天出可用版本，一周内挂 Product Hunt 和 GitHub 收早期反馈。

Commercial Opportunities（商业化机会）

方向一：托管式多模型网关 SaaS。目标用户是 5-50 人的 AI 应用团队，预期月收入 $3k-$15k，优于自建库路线，因为中小团队没运维人力、愿为省心付费。方向二：成本优化顾问型网关。在路由层加"按任务复杂度选最便宜可用模型"的智能策略，按节省金额分成或收固定费，目标用户是推理支出 $5k+/月的成长型公司，预期月收入 $2k-$10k，差异化最强。方向三：垂直场景网关（如客服、RAG 专用），预置回退链和评测，目标用户是特定行业 SaaS，预期月收入 $1k-$5k，护城河来自场景知识而非通用能力。

Product Ideas（产品创意）

🥇 RouteKit — "一行代码接入所有模型，永远自动选最便宜可用的那个"。目标用户是独立开发者和早期 AI 团队，场景是上线初期不想被单一供应商锁死、又怕账单失控。现在做对，是因为模型供给刚过临界点、大厂网关尚未跨云中立。🥈 GatewayWatch — "给已有网关加一层成本与可靠性观测"。目标用户是已用 LiteLLM 或 OpenRouter 的团队，场景是看不清每次调用花了多少、回退是否生效。时机对在于存量网关用户正在增长，观测是刚需。🥉 Fallback.dev — "专做自动回退的轻量 API，不做全栈网关"。目标用户是已有主 provider、只缺容灾的小团队，场景是生产环境限流故障。时机对在于可靠性需求先于成本优化成熟。

SEO Opportunity（SEO 机会）

搜索量趋势上升但基数小。有价值长尾词："llm gateway openai compatible"、"model router fallback"、"litellm alternative"、"cheapest llm routing"、"multi model api gateway"。SEO 难度 0/100 意味着几乎无竞争，抢排名成本极低。内容策略：做对比页（vs LiteLLM、vs OpenRouter）和教程页（"如何给 GPT 调用加自动回退"），这类页面意图明确、转化高，最容易先拿到排名。

Risk Assessment（风险评估）

判断可能错的情形：大厂把跨云网关做成免费默认能力，独立产品失去定价空间；或模型供应商自己推出官方路由，绕过第三方。三大风险：技术风险——流式转发、超时回退、多 provider 协议差异的工程复杂度被低估；市场风险——开源免费方案足够好，付费转化不及预期；执行风险——同时做网关和控制台导致 MVP 臃肿。最低成本验证：一周内上线落地页 + 一个只支持 3 个 provider 的可交互 demo，收集 50 个邮箱，看预约转化。放弃信号：两周内预约转化低于 5%，或发现目标用户普遍已自建且满意。

Action Plan（行动建议）

第一步：今天注册域名、搭一个落地页，写清"单端点 + 自动回退 + 成本看板"三点价值，挂上邮箱收集。第二步：用 LiteLLM 做后端，两天内做出支持 OpenAI、Anthropic、DeepSeek 三家回退的可交互 demo，发给 20 个 AI 开发者朋友收反馈。第一周完成落地页 + demo + 首批反馈；第一个月上线付费版（Starter $29）并投 Product Hunt 与 GitHub；第三个月做到 30 个付费客户、验证 CAC 与留存，再决定是否加智能成本优化策略。

Related Terms（相关趋势）

• LLM Observability — 互补关系，网关产生日志、观测工具消费日志，常被同一批用户一起采购
• OpenRouter — 竞争关系，在模型聚合层功能重叠，但 OpenRouter 偏市场、网关偏策略
• LiteLLM — 依赖/竞争双重关系，既是可 fork 的底座，也是自托管路线的直接替代品