01 详细解释
不动原权重,在注意力层旁挂两个小矩阵 A、B,训练只更新它们。可训练参数通常只有原模型的 0.1%–1%,单张消费级显卡就能跑。
推理时可以合并回原权重(无额外延迟),也可以按请求动态加载不同 LoRA(一个基座服务多个业务)。
不动原权重,在注意力层旁挂两个小矩阵 A、B,训练只更新它们。可训练参数通常只有原模型的 0.1%–1%,单张消费级显卡就能跑。
推理时可以合并回原权重(无额外延迟),也可以按请求动态加载不同 LoRA(一个基座服务多个业务)。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。