读文章时被一个词卡住,不用再开十个标签页。每个词条给三样东西:一句话定义、能读懂的解释、一个最常见的误解; 再补上举例、实战提示和相关文章,看完概念就能直接往下读。
让不同厂商、不同框架的 Agent 互相发现与协作的协议。
按目的挑一条线,不用从头翻到尾
刚入门先看这 8 个
每天都在用、但很少被讲清的一组词。搞懂这几个,后面所有栏目都读得顺。
用海量文本训练出来、按概率逐字续写文本的神经网络。
模型读写的最小单位,介于「字」和「词」之间。
一次请求里模型能同时「看到」的 token 上限。
模型生成看起来合理、实际上不成立的内容。
你交给模型的全部输入,包括角色、任务、材料与格式要求。
会话开始前注入的角色与规则,优先级高于用户输入。
控制采样随机性的参数:越低越稳定,越高越发散。
只在累计概率达到 p 的那部分候选词里抽样。
在提示里给两三个示例,让模型照着做。
让模型先写出推理步骤,再给结论。
让模型按固定 JSON Schema 返回,字段和类型都受约束。
同一个模型能同时处理文字、图片、音频、视频。
模型权重的数量,通常用 B(十亿)计。
回答前先生成一段内部思考的模型,通常用强化学习训练。
把几十万甚至上百万 token 一次性塞进窗口的能力。
长文档里位于中间的信息,被模型采用的概率最低。
在海量通用数据上预训练、可被下游任务反复复用的大模型底座。
不改动模型参数,只靠提示里给几个例子,就能让模型临时学会新任务。
模型按用户要求办事的能力:听懂约束、遵守格式、不擅自加戏。
不给任何示例,直接把任务描述丢给模型就让它做。
大模型预训练的唯一目标:根据前文,猜下一个最可能的 token。
不要求会推导公式,但要能听懂「为什么它是这样设计的」。选型、调参、读论文都绕不开这几个词。
2017 年提出、如今几乎所有大模型都在用的神经网络结构。
让每个 token 按相关度从其他 token 那里取信息的计算方式。
总参数很大、但每次只激活一小部分的稀疏架构。
只从左往右逐字生成、每次把新词接回输入的架构。
把文本切成 token 的那套规则与词表。
告诉模型「谁在前谁在后」的机制。
用旋转矩阵把相对位置编进注意力计算的主流方案。
把 KV 压成低维隐向量、大幅省显存的注意力变体。
从噪声逐步去噪、生成图像与视频的模型族。
在内部模拟环境变化、预测「下一步会怎样」的模型。
用固定大小的隐状态递推处理序列,复杂度随长度线性增长。
不改数学结果、只改显存读写方式的注意力加速算法。
让多组查询头共享同一份 Key/Value,省下 KV 缓存的注意力变体。
先整体读进输入、再逐步生成输出的两段式架构。
把图像切成小块当 token,直接用 Transformer 处理的视觉编码器。
把这一层的输入直接加到输出上,让深层网络不至于训不动。
从「读遍互联网」到「听人话」,一个模型要过好几道工序。看懂这些词,才知道厂商说的「新版本」到底改了什么。
用海量文本做下一词预测,把通用能力灌进参数里。
用「问题 + 标准答案」的样本,教模型按指令回答。
让人给回答排序,训练奖励模型,再用强化学习调优。
跳过奖励模型,直接用偏好数据对微调。
用另一个模型代替人类做偏好标注。
冻结原模型,只训练一小块低秩旁路矩阵。
把基座量化到 4bit 再挂 LoRA,进一步压低显存。
用大模型的输出当教材,训练一个小模型。
在已有模型上继续训练,让它适配你的任务与数据。
由模型生成、用来训练模型的标注数据。
微调新任务后,模型把原来的能力忘掉了。
让模型的目标与行为符合人类意图与价值观。
给模型输出打分的「裁判」,RLHF 里替代人工逐条评分的关键件。
不训价值网络、靠同一问题的一组回答互相比较来更新策略的强化学习方法。
在已预训练好的底座上,再用领域语料继续做下一词预测。
训练过程中定期保存下来的模型权重快照。
模型把训练样本背下来了,换个没见过的输入就失灵。
同样一个模型,账单能差十倍。差别全在这几个词里:缓存、批处理、量化、以及你到底让它想了多久。
用训练好的模型处理输入、生成输出的过程。
把历史 token 的注意力键值存下来,避免每生成一个字都重算。
用更低精度(8bit / 4bit)存权重,换更小显存和更快速度。
llama.cpp 生态用的模型文件格式,单文件打包权重与配置。
高吞吐推理框架,靠分页注意力把显存用满。
把多个请求凑成一批一起算,摊薄单次开销。
先让小子模型猜几个词,再让大模型一次性验收。
从发出请求到收到第一个字的时间。
每秒生成多少个 token,决定阅读体感。
把重复的前缀上下文缓存起来,后续请求只算新增部分。
显卡上专供模型使用的内存,决定你能跑多大模型。
限制推理模型在内部思考上最多花多少 token。
按任务难度把请求分给不同档位的模型。
模型直接跑在手机、笔记本上,不经过云端。
不改模型权重,靠「让它多想一会儿」来换答案质量。
单位时间内系统总共吐出多少 token,衡量的是整体产能。
边生成边把 token 逐个推给前端,而不是等整段写完再返回。
一次推理的两段:先并行读完整个提示,再逐 token 生成回答。
把单层的矩阵运算切到多张卡上同时算,用来放下放不下的模型。
让模型答得准,八成功夫不在模型。切片、召回、重排,每一步都能让答案跑偏,也能把它救回来。
先去你的资料里找相关片段,再让模型带着这些片段回答。
把文本压成一串数字,让语义相近的内容距离也相近。
专门存向量、按相似度做近邻检索的数据库。
把长文档切成适合检索的小块。
对初步召回的候选做精细打分,把最相关的排到前面。
基于词频与逆文档频率的经典关键词检索算法。
同时跑关键词检索与向量检索,再融合两路结果。
用实体和关系组成的网络来表示结构化知识。
按意思而不是按字面找内容。
让模型的每句结论都能对应到给定的原始材料。
向量库最常用的近似检索索引,用多层图实现毫秒级召回。
在向量检索之外,先把文档里的实体与关系抽成知识图谱再检索。
检索前先把用户的问题改写成更适合搜索的形式。
让答案里的每个结论都能指回原文出处,方便核查。
用两个向量夹角的余弦值衡量语义相近程度,向量检索的默认度量。
把检索到的一大堆片段压成更短、更相关的上下文再交给模型。
从「会回答」到「会干活」,中间隔着一整套接口、记忆与权限设计。这几个词是搭 Agent 的最小词汇表。
能自己决定下一步做什么、并调用工具直到完成目标的模型系统。
模型输出一个结构化请求,由程序执行后再把结果交回模型。
工具调用的早期叫法,用 JSON 描述函数签名与参数。
把工具、数据源接进模型的统一协议,一次实现处处可用。
多个各有分工的 Agent 协作完成一个任务。
让 Agent 跨轮次、跨会话记住信息的机制。
把大目标拆成可执行的步骤,并在执行中调整。
「思考 → 行动 → 观察」反复循环的 Agent 基本范式。
让模型看屏幕截图、操作鼠标键盘来完成任务。
隔离运行环境,限制 Agent 能碰的文件、网络和命令。
在关键步骤插入人工确认,而不是全自动跑完。
让不同厂商、不同框架的 Agent 互相发现与协作的协议。
系统性地决定「这一次推理该往上下文里放什么、不放什么」。
放在代码仓库里、写给 AI 编码助手看的项目说明书。
让 Agent 回头检查自己上一步的结果,发现问题再重做一遍。
主 Agent 把一块任务分给一个带独立上下文的小 Agent 去做。
把 Agent 每一步的提示、工具调用、返回与耗时串成一条可回放的记录。
「跑分高」和「好用」之间隔着一条鸿沟。这组词帮你看懂榜单怎么来的,也看懂攻击是怎么进的。
用一套固定题目衡量模型能力的标准化测试。
按两两对战胜负推算出的相对实力分。
匿名两两对战、由用户投票的公开模型排行榜。
让人盲选更喜欢哪个回答,作为质量信号。
评测题目出现在训练数据里,导致分数虚高。
主动扮演攻击者,找模型的安全漏洞。
把恶意指令藏进外部内容,让模型当成用户指令执行。
用特定话术绕过模型的安全限制。
在模型输入输出两侧加的一层检查与限制。
批量跑测试用例、自动打分、出报告的工程框架。
连续生成 k 个答案,至少有一个正确的概率。
用另一个模型按量表给回答打分,替代部分人工评测。
研究模型内部到底靠什么特征、哪些神经元做出某个判断。
送进模型前把手机号、身份证、邮箱等个人标识替换或删掉。
让两个版本的提示词、模型或策略同时在线,用真实流量比优劣。
把历史踩过的坑固定成用例,每次改动都跑一遍防止问题复发。
采购、报价、合规谈判时最常被问到的几个词。看懂它们,才不会被「每百万 token 多少钱」这种说法绕进去。
按每百万 token 计的调用费用,输入与输出通常不同价。
模型参数可下载,能自己部署、微调、再分发。
模型跑在自己的机房或云上专有实例里,数据不出内网。
统一代理多家模型接口,做路由、限流、计费与日志。
对单位时间内的请求数或 token 数设上限。
厂商对可用性与延迟的正式承诺,含违约补偿。
按使用人数收费,不按调用量。
按实际调用量(token、次数、时长)结算。
厂商提供的托管微调:上传数据、训练、托管推理。
提供编排、工具接入、监控与发布的一体化产品。
把多个步骤(含模型调用)按固定顺序串起来。
把模型能力包装成按调用计费的云 API,客户不自己训也不自己部署。
约定数据必须存放在哪个国家或地区,且不得随意跨境。
换掉一家厂商的代价高到实际上换不动的状态。
厂商停止某个模型版本的服务,要求客户迁移到新版本。
把模型调用当成可度量、可归因、可优化的一笔云支出持续管理。
换个说法试试,比如搜「缓存」「微调」「提示」。也可以 清空筛选 看全部 138 个。