Small Decision Models

What is it（这是什么）

Small Decision Models 指的是用 0.5B–3B 参数级别的小模型，专门处理单一、狭窄的决策任务，而不是追求通用对话能力。典型代表是 Jeff 用家用设备训练的 0.8B 决策模型，延迟约 30ms；laya 的非自回归 System 1 决策引擎，绕开逐 token 生成的串行瓶颈；以及 MicroLLM Lab 在浏览器里跑的小模型集合。

技术本质是：把"决策"从"生成"里剥离出来。大模型负责理解和规划，小模型负责在毫秒级做出二选一、打分、分类、路由这类判断。商业意义在于——推理成本降低一到两个数量级，且可以本地部署，不需要 GPU 集群，不需要 API 账单。对独立开发者来说，这意味着可以用极低成本做出实时响应的 AI 产品，而不是给 OpenAI 交月租。

Why now（为什么现在出现）

三个条件在 2026 年下半年同时成熟。

第一，端侧算力过剩。消费级笔记本和手机的 NPU 已经能跑 1B 级模型，浏览器 WebGPU 支持稳定，MicroLLM Lab 这类项目证明了"在浏览器里跑小模型"不再是 demo。

第二，推理成本成为大模型落地的真实瓶颈。企业发现 90% 的 AI 调用是重复的、模式化的判断（这条评论要不要删、这个工单该分给谁、这个价格该不该调），用 70B 模型做这些事是纯粹的浪费。

第三，架构创新出现。laya 的非自回归 System 1 引擎说明，决策任务不需要自回归生成，可以并行出结果，延迟从秒级压到毫秒级。这是"为什么不是一年前"的关键——一年前小模型只能做玩具，现在能做生产级决策。

政策层面，欧盟 AI Act 对高风险决策的可解释性要求，反而利好小模型：参数少、行为可审计、可本地部署。

Market Evidence（市场证据）

当前信号很弱但很干净。2 个独立信源（Hacker News 和 GitHub）、3 次提及、增长率 100%、成熟度 nascent。这个组合的含义是：讨论刚起步，但增长曲线是垂直的。

Hacker News 的 front_page 标签和 author_logicallee 这个具体作者，说明这是"个人开发者晒作品"型信号，而不是大厂 PR 稿。这类信号的价值在于——它反映的是草根开发者的真实动手方向，而不是被资本催熟的概念。

判断：这是真实需求，不是短暂热点。理由是三个项目（Jeff 的家用训练、laya 的引擎、MicroLLM Lab 的集合）来自不同作者、不同技术路线，却收敛到同一个结论——小模型做窄决策。这种"多点独立收敛"是趋势可信度最高的形态。但趋势分数只有 62/100，说明它还没破圈，现在进场属于早期，窗口期大约 6–12 个月。

Who's Behind It（谁在推动）

目前没有"庄家"，这是好事。推动者全是独立开发者和极小团队：

• Jeff：0.8B 家用训练决策模型，证明个人在家用硬件上就能训出可用的决策模型，把训练门槛打到了地板上。
• laya：非自回归 System 1 决策引擎，是技术含量最高的一环，解决了延迟问题。
• MicroLLM Lab：浏览器小模型集合，解决分发问题，让终端用户零安装使用。

三者是互补关系，不是竞争关系：Jeff 提供训练范式，laya 提供推理架构，MicroLLM Lab 提供分发渠道。大厂（OpenAI、Anthropic、Google）目前都在卷通用大模型，没有动力做这种"降维"的事。这个空白就是独立开发者的机会。

TAM & Market Size（市场规模）

潜在用户是三类人：一是做 AI 产品的独立开发者（全球约 200–500 万人），二是需要本地化 AI 的中小企业（客服路由、内容审核、风控打分），三是对延迟敏感的实时应用开发者（游戏、交易、IoT）。

付费意愿明确。这类用户已经在为 OpenAI API 付费，月均 50–500 美元。如果有个工具能把他们的推理成本砍掉 80%，同时延迟从 800ms 降到 30ms，付费意愿是刚性的。

市场处于高速增长期，不是稳定期。端侧 AI 推理市场预计从 2026 年的约 50 亿美元增长到 2030 年的 400 亿美元以上，年复合增长率超过 50%。

但要注意：机会分、需求分都是 0/100，这不是说没需求，而是说这个细分方向还没被结构化、没被度量、没有现成的产品对标。这意味着市场教育成本高，但先发优势也大。

Competitive Landscape（竞争格局）

现有玩家分三层：

框架层：llama.cpp、MLX、ONNX Runtime。它们提供推理能力，但不提供"决策"这一抽象。优势是成熟稳定，劣势是开发者要自己造轮子。

平台层：Ollama、LM Studio。它们做本地模型管理，但面向通用对话，不做决策专用优化。这是最大的空白——没有人做"决策专用的小模型运行时"。

应用层：几乎空白。没有知名的"小模型决策"SaaS 产品。

竞争分 0/100 的真实含义是：还没有人认真做这件事。大公司短期内不会做，因为这块市场太小、太垂直，不符合他们的增长模型。你的时间窗口是 6–12 个月。

差异化机会在于：不做模型，做"决策的工程化封装"——训练模板、评估基准、部署运行时、监控面板。

Business Model（商业模式）

推荐免费增值 + 订阅制，理由是这类用户是开发者，习惯 freemium，且需要先试用再付费。

定价建议：

• Free：1 个决策模型、每天 1000 次本地推理、社区支持。
• Pro：29 美元/月：无限模型、云端训练额度、API 访问、优先支持。
• Team：99 美元/月：5 席位、私有部署、SLA、审计日志。

依据：对标 Ollama 的企业版和 Replicate 的按量计费，开发者工具的甜蜜点是 20–50 美元/月。低于 20 美元养不活，高于 50 美元转化率断崖。

12 个月收入预测：

• 保守：200 个付费用户 × 29 美元 × 12 = 约 7 万美元
• 基准：800 个付费用户，混合客单价 40 美元 = 约 38 万美元
• 乐观：3000 个付费用户，混合客单价 55 美元 = 约 200 万美元

获客成本估算：开发者工具的自然获客（HN、GitHub、Reddit）CAC 约 15–40 美元，付费转化率 2–5%，回本周期 1–2 个月。这个模型健康。

MVP Blueprint（MVP 蓝图）

核心功能（必须有）：

1. 上传数据集 → 一键微调 0.5B–1B 决策模型（封装 Unsloth 或 LoRA）。
2. 决策评估面板：准确率、延迟、成本对比大模型。
3. 本地推理运行时：一行命令启动，暴露 HTTP API。
4. 模型导出：ONNX / GGUF 格式，支持浏览器和端侧部署。

推荐技术栈：

• 后端：Python + FastAPI，训练用 Unsloth + PEFT。
• 推理：llama.cpp 或 MLX，封装成 REST API。
• 前端：Next.js + shadcn/ui，部署在 Vercel。
• 数据库：Supabase（认证 + 存储 + Postgres）。
• 部署：Fly.io 跑训练任务，Cloudflare R2 存模型权重。

最快上线路径：

• Day 1–2：用 Unsloth 的 notebook 模板跑通微调流程。
• Day 3–4：FastAPI 包装推理，Docker 化。
• Day 5：Next.js 前端接 Supabase，做上传 + 结果页。
• Day 6：写文档，录 3 分钟 demo 视频。
• Day 7：发 Hacker News + GitHub，收集反馈。

关键捷径：不要自己实现训练框架，直接封装 Unsloth；不要做模型市场，先做工具。

Commercial Opportunities（商业化机会）

方向一：决策模型托管平台

• 描述：开发者上传数据，平台训练并托管决策模型，按推理次数计费。
• 目标用户：做 AI 产品的独立开发者。
• 预期月收入：5000–30000 美元。
• 优势：一次性投入，边际成本低，用户迁移成本高。

方向二：端侧决策 SDK

• 描述：给移动端/浏览器应用提供开箱即用的小模型决策 SDK。
• 目标用户：App 开发者、游戏开发者。
• 预期月收入：3000–20000 美元。
• 优势：直接嵌入用户产品，粘性极强，竞品少。

方向三：决策模型评估服务

• 描述：帮企业评估"这个决策任务该用大模型还是小模型"，输出报告和迁移方案。
• 目标用户：有 AI 预算但成本失控的中小企业。
• 预期月收入：10000–50000 美元。
• 优势：咨询属性，高客单价，可作为平台产品的引流入口。

方向一最优：可规模化、可复用、符合独立开发者能力边界。

Product Ideas（产品创意）

🥇 TinyDecision — "把任何判断任务变成 30ms 的本地小模型"

• 目标用户：做实时 AI 功能的独立开发者。
• 场景：内容审核、意图路由、打分排序。
• 时机：大模型成本压力最大、端侧算力刚成熟。
• 价值：从"调用 API"到"拥有模型"，成本降 90%。

🥈 DecisionBench — "小模型决策能力的标准评测集"

• 目标用户：AI 研究者、模型选型的产品团队。
• 场景：选型对比、模型发布前的基准测试。
• 时机：市场缺标准，谁定标准谁吃红利。
• 价值：成为这个细分领域的"MMLU"。

🥉 BrowserBrain — "浏览器里跑的决策模型，零后端"

• 目标用户：做隐私敏感产品的开发者。
• 场景：表单校验、本地推荐、离线决策。
• 时机：WebGPU 普及、隐私法规收紧。
• 价值：数据不出浏览器，合规且零延迟。

SEO Opportunity（SEO 机会）

搜索量趋势：上升，但基数极小。SEO 难度 0/100，意味着几乎无人竞争。

有价值的长尾关键词：

• "small decision model tutorial"
• "0.8B model fine-tuning"
• "non-autoregressive inference"
• "in-browser LLM decision"
• "local decision model API"

内容策略：写实操教程最容易拿排名——"如何用 Unsloth 微调一个 0.8B 决策模型"。这类页面竞争为零，且能精准吸引目标用户。现在就做，半年后就是权威来源。

Risk Assessment（风险评估）

判断可能错的情况：如果大模型推理成本在 12 个月内暴跌到小模型的水平，整个"小模型做决策"的价值主张就崩了。这是最大的技术风险。

三大风险：

1. 技术风险：端侧推理的稳定性、模型质量一致性还没被大规模验证。
2. 市场风险：开发者可能觉得"直接用 API 更省事"，教育成本高。
3. 执行风险：这个方向需要同时懂训练和工程，独立开发者容易顾此失彼。

最低成本验证：花 3 天做一个 demo——微调一个 0.8B 模型做具体决策任务，对比 GPT-4o 的延迟和成本，发到 Hacker News 看反馈。如果 24 小时内拿到 100+ 点赞和 10+ 条"怎么用"的评论，信号确认。

放弃信号：如果两次发布都无人问津，或者大厂宣布免费提供同类能力，立即止损。

Action Plan（行动建议）

第一步（今天）：克隆 Unsloth 的 notebook，用公开数据集微调一个 0.8B 模型做二分类决策，测出延迟和准确率。这一步 4 小时内能完成。

低成本验证：把结果写成一篇技术博客，标题带具体数字（"0.8B 模型 30ms 完成 GPT-4o 需要 800ms 的决策"），发到 Hacker News 和 r/LocalLLaMA。

第二步（信号确认后）：如果有正向反馈，立刻做 MVP——把微调流程封装成 Web 工具，加评估面板。

时间线：

• 第一周：完成 demo + 发布验证内容。
• 第一个月：上线 MVP，拿到前 50 个注册用户。
• 第三个月：推出付费版，目标 20 个付费用户，验证商业模式。

Related Terms（相关趋势）

• Edge AI — 母领域，Small Decision Models 是端侧推理在决策场景的具体落地
• Non-autoregressive Generation — 技术依赖，laya 的 System 1 引擎基于此实现毫秒级延迟
• Model Distillation — 互补关系，把大模型能力蒸馏到小决策模型是主要训练路径
• WebGPU — 分发依赖，浏览器小模型运行的基础设施