01 详细解释
核心是 PagedAttention:把 KV 缓存切成固定大小的块、按需分配,像操作系统管理内存一样,避免预分配造成的浪费。同样一张卡,并发吞吐常能提升数倍。
配套还有连续批处理(请求进进出出不用等整批结束)、前缀缓存、张量并行。自建推理服务时,它基本是默认选项。
核心是 PagedAttention:把 KV 缓存切成固定大小的块、按需分配,像操作系统管理内存一样,避免预分配造成的浪费。同样一张卡,并发吞吐常能提升数倍。
配套还有连续批处理(请求进进出出不用等整批结束)、前缀缓存、张量并行。自建推理服务时,它基本是默认选项。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。