成本不是一个价格数字,是缓存、批处理、量化、框架四件事叠出来的。这一线讲清钱花在哪,以及哪些优化是免费的。
大模型逐字生成,慢是天性。有没有办法在不改模型、不牺牲输出质量的前提下提速?投机解码(Speculative Decoding)给出的答案是:让一个小模型先"抢答"几个 Token,再由大模型…
和同一个模型聊天,前几轮秒回,聊到几十轮后却越来越慢、显存还蹭蹭上涨?这背后多半是 KV Cache 在作怪。理解它,能帮你搞懂长对话为什么又慢又贵,以及该怎么优化。 为什么需要 KV Cac…
如果你的 AI 应用里有大量不急着要结果的任务——比如批量给十万条评论打标、离线总结一批长文档、夜间跑一批翻译——那么同步调用 API 可能让你多花一倍的钱。批处理 API(Batch API…
谷歌在 11 月 17 日为 Gemini 4 系列新增 xhigh 思考级别,使得推理档位扩展到 Low、Medium、High、xHigh 四档。类似设计也出现在其他厂商的模型上。对使用者…
为什么同一段话,中文看起来比英文“更费 Token”?要回答这个问题,得先理解模型眼里的“字”——Token,以及把它切出来的工具:分词器(Tokenizer)。 Token 是什么 模型并不…
11 月 18 日凌晨,OpenAI 发布了两款新模型——面向高难度项目的旗舰 GPT-6.2 Astra 和面向日常工作的 GPT-6.2 Sol。据官方公告,这次升级的核心不是单纯堆跑分,…
很多人第一次自己部署大模型,用的是最直接的方式:加载模型、来一个请求算一个。单用户测试还行,一旦并发上来就排长队、显存还浪费。vLLM 是这几年最常用的推理框架之一,核心就是用更聪明的方式管理…
同一个模型,为什么有的要几十 GB 显存,有的几 GB 就能跑?差别往往不在"模型不一样",而在"存法不一样"。这种把模型参数用更少比特存下来的技术,就叫量化。这篇用尽量通俗的方式讲清它省了什…
如果你在应用里每次请求都带上几千字的系统提示、产品手册或 few-shot 示例,那你很可能一直在为同样的内容反复付费。提示词缓存(Prompt Caching)就是为这类重复前缀设计的:把不…