
在今天的专栏中,我展示了一种重要的新提示技术,称为思想原子(AoT),它补充了正在进行且不断扩展的提示工程最佳实践列表。
读者可能还记得,我之前发布过一篇深入介绍 50 多种提示工程技术和方法的文章(见此处的链接)。顶尖的提示工程师意识到,学习大量经过研究和验证的提示技术是充分利用生成式人工智能的最明智方法,而且很可能让你因熟练的成果而获得丰厚的回报。
新设计的思想原子让人想起著名的思想链(CoT)方法,尤其是关于 CoT 分解变化(请参阅此处链接中的我的讨论)。
AoT 是全新的,它提供了一个有趣且有用的转折,值得利用。
我们来讨论一下吧。
对创新型人工智能突破的分析是我在《福布斯》专栏上对人工智能最新进展的持续报道的一部分,包括识别和解释各种有影响的人工智能复杂性(见此处的链接)。
思想链很出名 首先要快速提出思路链的含义。这样做将为思路原子奠定基础。
开始了。
在使用生成式人工智能和大型语言模型 (LLM) 方面特别有经验的热心用户知道,最方便的提示技术之一是要求人工智能进行思路链 (CoT) 处理方法(我在此处的链接中介绍了基础知识)。
您需要做的就是告诉 AI 逐步进行,然后 AI 会展示它为得出答案而执行的各种逻辑步骤。在任何给定的提示中,您都可以说一些话,例如 AI 应该使用逐步方法进行,或者几乎任何类似的建议。AI 会了解您的意图并切换到 CoT 模式。
研究表明,使用 CoT 往往会促使生成式 AI 得出更好的答案。这部分是因为 AI 会放慢速度来仔细指定解决过程的每个步骤。大多数 AI 制造商都倾向于让 AI 快速,而不是准确或正确。通过给出明确告诉 AI 执行 CoT 的提示,您就允许 AI 有条不紊地尝试回答您的查询或谨慎地解决您提出的问题。
使用 CoT 的另一个优点是您可以检查 AI 向您显示的推理步骤。
这很有用,主要有两个原因。首先,所显示的步骤本质上是对人工智能如何得出答案的解释。有时,让人工智能解释得出生成响应的基础会非常有用。其次,在亲自检查这些步骤后,您可能会发现一个或多个步骤出了问题。这让您对人工智能生成的答案是否正确产生了怀疑。
经常依赖 CoT 的主要缺点是 AI 需要更长的时间来处理您的查询并返回结果。这称为延迟。CoT 通常会延长或延长延迟。一个有点相关的缺点是处理时间可能会花费更多,因为您需要使用更多处理周期才能获得响应。
一般来说,如果你支付的费用很低,而且你愿意多等几秒钟,那么思维链是一种激励技巧。人工智能制造商最终意识到利用思维链是个好主意,因此他们选择使其成为一个始终开启的功能。最新的生成式人工智能推理模型强制使用思维链。
作为预防措施,如果您使用的生成式 AI 已设置为自动调用 CoT,最好不要在提示中请求 CoT;否则可能会出现麻烦(请参阅此处链接中的我的解释)。
思想原子的出现 有许多分支提示技术利用 CoT 作为发射台。例如,有思维逻辑(参见此处链接中描述的 LoT )、思维树(参见此处链接中的 ToT )、思维骨架(参见此处链接中的 SoT )等。
思想原子也是思想链的一个分支。
最大的区别在于,思想原子指示人工智能在处理与生成答案相关的步骤时进行分而治之。目的是将步骤划分为原子,即不依赖于任何其他步骤的单个步骤。尽可能地,最基本的步骤浮出水面,然后可以分别解决它们。这样做之后,它们被重新组合在一起以得出最终答案。
为什么要这么做?
一个关键的方面是,传统的思路链往往是臃肿的。这就是我的意思。人工智能通常将所有步骤保存在一个大的行李区中,并在一定程度上不必要地消耗内部内存。有一个默认假设,即所有步骤都需要集体处于半活动状态。但这可能不是真正需要的。
如果可以将步骤放入单独的地块中,那么与所有步骤相关的历史记录就不是特别需要的。人工智能可以根据每个步骤的优点来处理。所有其他漂浮的东西都与该特定步骤无关。远离所有不相关的垃圾,专注于单个步骤。
AoT 注意事项和注意事项 我确信您已经对自己说这种方法很好,但是如果各个步骤错综复杂地相互关联且完全相互依赖,那么人工智能就无法合理地将它们分解成个性化、集中的步骤。
你成功了。
值得注意的一点是,有些类型的问题 AoT 有用,而有些则没用。AoT 不是灵丹妙药。它是工具箱里的新工具。当需要螺丝刀时,您不会使用锤子。AoT 有其适用之处和时间。主要适用于可以独立处理底层步骤的情况。
您可能没有现成的方法来了解您交给 AI 的问题是否适合 AoT。通常,如果问题看起来很大而且很复杂,那么 AoT 可能会有所帮助。如果问题很小而且只需要几个步骤,我不确定使用 AoT 是否能带来很大的回报。
当然,如果您一开始就意识到这些步骤可能是可分离的,那就继续调用 AoT 吧。即使您不确定,这也没什么问题,因为 AoT 愿意执行惯常的 CoT;只是您没有通过 AoT 调用获得任何东西。
最有可能用于 AoT 的类别是使用生成式 AI 得出数学证明、生成编程代码以及执行高度结构化的推理任务。不太可能用于 AoT 的类别是创意写作任务、整体对话参与等。
这些是一般的经验法则。
根据 AoT 在特定生成式 AI 和 LLM 中的实现方式,这些规则可能会有所不同,因此请务必查看您所使用的 AI 的文档,以决定在 AoT 使用方面的最佳方式。
另一个方便的好处是,AI 可以并行处理,从而大大加快获得答案所需的时间。这有点讽刺。一方面,调用任何 CoT 通常需要更多处理周期,成本也更高。但如果 AI 可以同时使用多个处理器,那么个性化步骤可以非常快速地完成,因为它们是在同一时刻执行的。当步骤相互关联时,并行性会变得更加困难,因为 AI 必须执行一个步骤,等待结果,然后执行下一步。AoT 发挥了利用硬件并行性的可能性。
调用思想原子 一些生成式 AI 应用具有执行 AoT 的内置功能,而另一些则允许使用执行 AoT 的附加组件。许多生成式 AI 本身还没有直接执行 AoT 的方法,但您可以使用提示来接近它。 欢迎您使用我设计的这个提示:
思想原子的基本提示: “将我提出的问题分解成尽可能最小、最独立的步骤。每个步骤应尽可能独立,尽量减少对先前步骤的依赖。如果任何步骤可以并行执行,则相应地构建它们。分别执行每个步骤,然后重新整合所有结果以产生连贯的最终响应。” 关于这个模板示例,有几点值得指出。
首先,您不必逐字逐句地使用代表性提示。没有任何神奇的措辞。您可以根据自己的风格和偏好改变措辞。主要是,保持简短和直接。太长的指令有时会让生成 AI 感到困惑。
其次,人工智能很可能会说“是”,它会按照你的要求去做。这是好消息,也可能是坏消息。
不幸的是,你无法确定它实际上会做什么。如果人工智能不具备 AoT 的能力,它就会模仿 AoT,你可能会得到一种 AoT 或半生不熟的版本。它本身并没有错,只是一种伪造或模拟的 AoT 尝试。有时,有总比没有好。 你来判断吧。
AoT 解决的一些示例问题 假设我使用上面的 AoT 建立提示,然后给 AI 这个需要解决的问题。
我输入的提示: “使用我向您描述的思想原子 (AoT) 方法,继续求解二次方程 3x² - 5x + 2 = 0。” 生成式人工智能回答: “我将继续把解决方案流程分解成最基本、最独立的步骤。如果可行,每个步骤都将独立执行。然后,我将重新整合这些步骤,为您提供最终答案。” 您可能对解二次方程不太熟悉。不用担心。解这个简单的方程大约需要六个步骤。在这些步骤中,有些步骤可以独立于其他步骤执行。我知道情况就是这样,因此给了 AI 一个易于使用的 AoT 候选者。
两个独立计算的根分别是 x = 1 和 x = 2/3。非常简单。
让我们尝试另一个可能成为 AoT 更透明候选者的例子。
我输入的提示: “再次使用我向您描述的思维原子 (AoT) 方法,确定‘所有猫都是哺乳动物,有些哺乳动物不是猫;因此,有些猫不是哺乳动物’这一陈述是否合乎逻辑。请向我展示您最终解决这个问题的步骤。” 生成式人工智能响应: “步骤 1。独立解释第一个前提,即所有猫都是哺乳动物。步骤 2。独立解释第二个前提,即某些哺乳动物不是猫。步骤 3。独立解释声称的结论,即某些猫不是哺乳动物。步骤 4。汇总前面的步骤解释。陈述“因此,某些猫不是哺乳动物”是与步骤 2 相矛盾的主张。如果所有猫都是哺乳动物,那么从逻辑上讲,某些猫不是哺乳动物是不可能的。步骤 5。结论的结构试图颠覆步骤 2 中建立的逻辑关系。这是一个逻辑谬误——具体来说,是对范畴逻辑的误解。因此,它在逻辑上无效。” 人工智能解析了我给出的陈述,并选择独立评估每个可分离的前提。完成后,人工智能会将这些评估汇总在一起,试图确定该陈述是否合乎逻辑。这些第一步可以并行执行。最后一步取决于这些先前步骤的结果。
不可否认的是,这些都是相当简单的查询。使用 AoT 可能没有增加太多价值。如果单词问题更长、更复杂,AoT 可能会是一个加分项。如果我给 AI 一个复杂的数学方程,也会发生同样的情况。我只是想展示一些说明性的例子。
AoT 的其他优势 我认为强调使用 AoT 的一些好处是有用的。
我已经指出,生成式人工智能可以利用并行执行。多线程人工智能系统和人工智能的分布式处理架构正是我们的发展方向。因此,这种方法效果很好(请参阅此处链接中的我的报道)。
接下来,您可能已经熟悉了人工智能幻觉的悲观和厄运性质,包括人工智能产生没有事实依据的谎言的情况。人工智能幻觉是生成人工智能和法学硕士面临的一个大问题。在严肃和生命攸关的方面使用人工智能会受到以下可能性的破坏:随时可能遇到人工智能幻觉,而用户不会轻易知道它已经发生。有关尝试击退人工智能幻觉的许多努力的更多信息,请参阅此处链接中的我的讨论。
有人推测,在 CoT 和 AoT 期间出现 AI 幻觉的几率通常会降低。我们不确定是否确实如此。这可能是一厢情愿的想法。有某种逻辑可以解释为什么分步方法可能有助于降低 AI 幻觉的几率。
逻辑是这样的。希望人工智能能够很好地执行每个步骤,并在执行时独立验证每个步骤。有时,传统的 CoT 非常混乱,如果某个步骤出错,结果就会影响到解决问题的其余部分。一颗老鼠屎坏了一锅粥。在 AoT 中,通过紧密独立地执行每个步骤,人工智能更有可能降低这些连锁反应的几率。
听起来很乐观。我们需要看看实证研究如何证实这一点。我祈祷一切顺利。
AoT 研究
说到研究,最近有一篇介绍 AoT 的新论文发布在网上,题为“马尔可夫 LLM 测试时间缩放的思想原子”,由 Fengwei Teng、Zhaoyang Yu、Quan Shi、Jiayi Zhang、Chenglin Wu 和 Yuyu Luo 撰写,发表于 arXiv,2025 年 2 月 17 日,其中提出了以下要点(摘录):
“大型语言模型 (LLM) 通过训练时间扩展实现了卓越的性能,而测试时间扩展通过在推理过程中进行有效推理进一步增强了其能力。然而,随着推理规模的增加,现有的测试时间扩展方法会受到历史信息累积的影响,这不仅浪费了计算资源,而且还会干扰有效推理。” “为了解决这个问题,我们观察到复杂的推理进程通常是通过解决一系列独立的子问题来实现的,每个子问题都是独立的和可验证的。” “这些子问题本质上是原子问题,主要依赖于它们的当前状态而不是累积的历史,类似于马尔可夫过程中的无记忆转变。” “基于这一观察,我们提出了思想原子(AOT),其中推理过程中的每个状态转换都包括将当前问题分解为基于依赖关系的有向无环图并收缩其子问题,形成新的原子问题状态。” “这种迭代分解-收缩过程持续进行,直到达到可直接解决的原子问题,自然实现问题状态之间的马尔可夫转换。” 请注意,它们利用了 AoT 的马尔可夫模型。如果您对生成式 AI 和 LLM 如何充分利用马尔可夫链感兴趣,请参阅此处链接中的我的解释。
优雅而自信地使用 AoT 我建议您考虑将 AoT 添加到您的快速工程工具包中。
话虽如此,你最好的选择是尽一切努力去卡内基音乐厅——练习,练习,再练习。你应该留出一些专注的时间来尝试 AoT 提示。使用各种问题。检查什么有效,什么无效。决定如何以及何时使用新的提示技术。
如果锤子是更好的选择,请不要盲目尝试使用螺丝刀。
现在,最后的评论将献给阿尔伯特·爱因斯坦:“从昨天学习,活在今天,希望明天。重要的是不要停止质疑。”一定要质疑何时使用 AoT,同时质疑自己何时应该使用 AoT 却没有使用。
是的,确实,重要的是不要停止质疑。

评论