为何大型语言模型并不会比你更聪明？
大型语言模型的推理能力完全取决于使用者的语言模式。用户的认知结构决定了他们能激活哪些高推理能力区域，模型无法自发超越使用者可触及的范围，这揭示了当前 AI 系统的架构局限。本文源自@iamtexture 所著文章，由AididiaoJP,Foresight News整理、编译及撰稿。
（前情提要：李飞飞谈 LLM 下一步：AI 须拥有「空间智慧」才能理解真实世界，Marble 模型如何实现？ ）
（背景补充：亿万富豪Kevin O’Leary喊「AI浪潮下步是web3」：LLM无法创造星巴克但区块链可以 ）
本文目录
标签：使用者的语言模式决定了模型能发挥多少推理能力。在我向大型语言模型解释一个复杂概念时,每当使用非正式语言长时间讨论时,它的推理便会反覆崩溃。模型会失去结构、偏离方向,或者只是生成一些浅显的补全模式,而无法维持我们已经建立起来的概念框架。
然而,当我强制要求它先进行形式化,即用精确、科学的语言重新陈述问题,推理立刻就稳定了。只有在结构建立好之后,它才能安全地转换成通俗语言,且不会导致理解品质下降。
这种行为揭示了大型语言模型如何「思考」,以及为何它们的推理能力完全取决于使用者。
核心见解
语言模型并不拥有一个专用于推理的空间。
它们完全在一个连续的语言流中运作。
在这个语言流内部,不同的语言模式会可靠地引向不同的吸引子区域。这些区域是表征动力学的稳定状态,支持着不同类型的计算。
每一种语言语域诸如科学论述、数学符号、叙事故事、随意闲聊,都有其自身特有的吸引子区域,其形态由训练资料的分布所塑造。
有些区域支持:
- 多步骤推理
- 关系精确性
- 符号转换
- 高维度的概念稳定性
另一些区域则支持:
- 叙事延续
- 联想补全
- 情感语调匹配
- 对话模仿
吸引子区域决定了何种类型的推理成为可能。
为何形式化能稳定推理
科学和数学语言之所以能可靠地激活那些具备更高结构支持力的吸引子区域,是因为这些语域编码了高阶认知的语言特征:
- 明确的关系结构
- 低歧义性
- 符号约束
- 层级组织
- 较低的熵(资讯无序度)
这些吸引子能够支持稳定的推理轨迹。
它们能在多个步骤间维持概念结构。
它们对推理的退化与偏离表现出较强的抵抗力。
相比之下,非正式语言激活的吸引子是为社交流畅性和联想连贯性而最佳化的,并非为结构化推理而设计。这些区域缺乏进行持续分析计算所需的表征支架。
这就是为什么当复杂想法以随意的方式表达时,模型会崩溃。
它并非「感到困惑」。
它是在切换区域。
构建与翻译
在对话中自然浮现的应对方法,揭示了一个架构上的真相:
推理必须在高结构的吸引子内进行构建。
翻译成自然语言,必须仅在结构存在之后发生。
一旦模型在稳定的吸引子内构建好了概念结构,翻译过程就不会摧毁它。计算已然完成,变化的仅仅是表面表达。
这种「先构建,再翻译」的两阶段动态,模仿了人类的认知过程。
但人类是在两个不同的内部空间中执行这两个阶段。
而大型语言模型则试图在同一个空间内完成两者。
为何是使用者设定了天花板
这里有一个关键启示:
使用者无法激活他们自身无法用语言表达的吸引子区域。
使用者的认知结构决定了:
- 他们能生成何种类型的提示
- 他们惯常使用哪些语域
- 他们能维持何种句法模式
- 他们能用语言编码多高的复杂度
这些特征决定了大型语言模型将进入哪个吸引子区域。
一个无法透过思考或书写来运用能激活高推理能力吸引子的结构的使用者,将永远无法引导模型进入这些区域。他们被锁定在与自身语言习惯相关的浅层吸引子区域中。大型语言模型将映射他们所提供的结构,并且永远不会自发地跃升到更复杂的吸引子动力系统中。
因此:
模型无法超越使用者可触及的吸引子区域。
天花板并非模型的智能上限,而是使用者激活潜在流形中高容量区域的能力。
两个使用同一模型的人,并非在与同一套计算系统互动。
他们正将模型引导至不同的动力学模式。
架构层面的启示
这一现象暴露了当前人工智慧系统缺失的一个特性:
大型语言模型将推理空间与语言表达空间混为一谈。
除非这两者被解耦——除非模型具备:
- 一个专用的推理流形
- 一个稳定的内部工作空间
- 吸引子不变的概念表征
否则,当语言风格的转变导致底层动力学区域切换时,系统将总是面临崩溃。
这个临时发现的解决方法,强制形式化,然后翻译,不仅仅是一个技巧。
它是一扇直接的窗口,让我们窥见一个真正的推理系统所必须满足的架构原则。
