专题 · TOPIC

推理加速与成本

成本不是一个价格数字,是缓存、批处理、量化、框架四件事叠出来的。这一线讲清钱花在哪,以及哪些优化是免费的。

9 篇文章 更新至 2026-11-21 约 1 小时读完

建议的阅读顺序

按这三步走,比从最新一篇倒着翻省事

这个专题的全部文章

按发布时间倒序
投机解码(Speculative Decoding)通俗解读:不改模型也能让推理更快

大模型逐字生成,慢是天性。有没有办法在不改模型、不牺牲输出质量的前提下提速?投机解码(Speculative Decoding)给出的答案是:让一个小模型先"抢答"几个 Token,再由大模型…

KV Cache 通俗解读:长对话为什么又慢又贵,显存都被谁吃了

和同一个模型聊天,前几轮秒回,聊到几十轮后却越来越慢、显存还蹭蹭上涨?这背后多半是 KV Cache 在作怪。理解它,能帮你搞懂长对话为什么又慢又贵,以及该怎么优化。 为什么需要 KV Cac…

用批处理 API 省一半钱:离线 AI 任务的正确打开方式

如果你的 AI 应用里有大量不急着要结果的任务——比如批量给十万条评论打标、离线总结一批长文档、夜间跑一批翻译——那么同步调用 API 可能让你多花一倍的钱。批处理 API(Batch API…

推理档位怎么选:low、medium、high、xhigh 背后的成本与质量账

谷歌在 11 月 17 日为 Gemini 4 系列新增 xhigh 思考级别,使得推理档位扩展到 Low、Medium、High、xHigh 四档。类似设计也出现在其他厂商的模型上。对使用者…

为什么中文更“费 Token”:分词器 Tokenizer 通俗解读

为什么同一段话,中文看起来比英文“更费 Token”?要回答这个问题,得先理解模型眼里的“字”——Token,以及把它切出来的工具:分词器(Tokenizer)。 Token 是什么 模型并不…

OpenAI 发布 GPT-6.2 Astra 与 Sol:旗舰降价两成,“Token 效率”成新战场

11 月 18 日凌晨,OpenAI 发布了两款新模型——面向高难度项目的旗舰 GPT-6.2 Astra 和面向日常工作的 GPT-6.2 Sol。据官方公告,这次升级的核心不是单纯堆跑分,…

vLLM 入门:同样的模型,为什么换个推理框架就能快好几倍

很多人第一次自己部署大模型,用的是最直接的方式:加载模型、来一个请求算一个。单用户测试还行,一旦并发上来就排长队、显存还浪费。vLLM 是这几年最常用的推理框架之一,核心就是用更聪明的方式管理…

大模型”瘦身”是怎么回事:量化、INT8/INT4、GGUF 一次讲明白

同一个模型,为什么有的要几十 GB 显存,有的几 GB 就能跑?差别往往不在"模型不一样",而在"存法不一样"。这种把模型参数用更少比特存下来的技术,就叫量化。这篇用尽量通俗的方式讲清它省了什…

提示词缓存(Prompt Caching)实战:长文档、多轮对话怎样省下一大半开销

如果你在应用里每次请求都带上几千字的系统提示、产品手册或 few-shot 示例,那你很可能一直在为同样的内容反复付费。提示词缓存(Prompt Caching)就是为这类重复前缀设计的:把不…

小7分享网 · 聚焦 AI 的实用博客

每天一篇,跟进 AI 行业动态、实测新工具、拆解实战教程。不堆术语,不炒概念,只写真正用得上的内容。

浏览全部文章关于本站

欢迎回来

登录 小7分享网,继续你的精彩

还没有账号?立即注册

忘记密码 ?

创建账号

注册后即可体验完整功能

已有账号?直接登录

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活