评测与安全

可解释性

Interpretability

研究模型内部到底靠什么特征、哪些神经元做出某个判断。

又称 Interpretability Mechanistic Interpretability 模型可解释性

本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正

01 详细解释

从注意力可视化到稀疏自编码器找特征方向,目标是打开黑盒:某个概念是不是被单独编码、某条规则在哪些层起作用。它和「让模型解释自己的答案」不是一回事,后者只是又生成了一段文本。

现实价值主要在安全与调试:定位偏见来源、理解越狱为何生效、检查是否真的用了给定材料。

✦举个例子

用探针发现模型在某一层明确区分了「引用原文」和「自由发挥」两种状态。

✓实战提示

用户要「为什么这么答」时,给可核查的依据(引用、规则)比让模型自述更可靠。

02 什么时候会碰到它
看榜单、写验收标准或做安全评审时

「跑分高」和「好用」之间隔着一条鸿沟。这组词帮你看懂分数怎么来的、评测集有没有被污染,以及攻击是从哪进去的。

03 和这几个词怎么区分
04 接着读这几篇

小7分享网 · 聚焦 AI 的实用博客

每天一篇,跟进 AI 行业动态、实测新工具、拆解实战教程。不堆术语,不炒概念,只写真正用得上的内容。

浏览全部文章关于本站

欢迎回来

登录 小7分享网,继续你的精彩

还没有账号?立即注册

忘记密码 ?

创建账号

注册后即可体验完整功能

已有账号?直接登录

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活