01 详细解释
简单分类、抽取交给小模型,复杂推理才上大模型;也可按领域路由到专门微调过的模型。实践中能省下 50%–80% 的成本,质量几乎无损。
实现方式从规则(关键词、长度)到训练一个分类器都有。关键是留一条「升级通道」:小模型置信度低时自动转给大模型。
简单分类、抽取交给小模型,复杂推理才上大模型;也可按领域路由到专门微调过的模型。实践中能省下 50%–80% 的成本,质量几乎无损。
实现方式从规则(关键词、长度)到训练一个分类器都有。关键是留一条「升级通道」:小模型置信度低时自动转给大模型。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。