01 详细解释
从注意力可视化到稀疏自编码器找特征方向,目标是打开黑盒:某个概念是不是被单独编码、某条规则在哪些层起作用。它和「让模型解释自己的答案」不是一回事,后者只是又生成了一段文本。
现实价值主要在安全与调试:定位偏见来源、理解越狱为何生效、检查是否真的用了给定材料。
研究模型内部到底靠什么特征、哪些神经元做出某个判断。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
从注意力可视化到稀疏自编码器找特征方向,目标是打开黑盒:某个概念是不是被单独编码、某条规则在哪些层起作用。它和「让模型解释自己的答案」不是一回事,后者只是又生成了一段文本。
现实价值主要在安全与调试:定位偏见来源、理解越狱为何生效、检查是否真的用了给定材料。
用探针发现模型在某一层明确区分了「引用原文」和「自由发挥」两种状态。
用户要「为什么这么答」时,给可核查的依据(引用、规则)比让模型自述更可靠。
「跑分高」和「好用」之间隔着一条鸿沟。这组词帮你看懂分数怎么来的、评测集有没有被污染,以及攻击是从哪进去的。