01 详细解释
给定当前状态和一个动作,世界模型预测下一个状态。它可以是视频生成模型(预测下一帧),也可以是机器人领域的状态转移模型,用于在「想象中」试错,降低真实环境试错成本。
和语言模型的区别在于:它建模的是物理与因果,而不是文本共现。目前的瓶颈是长时预测会逐渐失真。
给定当前状态和一个动作,世界模型预测下一个状态。它可以是视频生成模型(预测下一帧),也可以是机器人领域的状态转移模型,用于在「想象中」试错,降低真实环境试错成本。
和语言模型的区别在于:它建模的是物理与因果,而不是文本共现。目前的瓶颈是长时预测会逐渐失真。
厂商说「用了 GQA」「换成 MoE」「支持百万上下文」时,指的都是这一层的设计。不必会推导公式,但要知道改动影响的是显存、速度还是表达能力。