自动推理与工具使用（ART）
将CoT提示和工具以交错方式结合已被证明是解决LLMs许多任务的一种强大而稳健的方法。这些方法通常需要手工制作特定任务的演示，并仔细编写模型生成与工具使用的交错脚本。Paranjape等人（2023）提出了一个新框架，该框架使用冻结的LLM自动生成中间推理步骤作为程序。
ART的工作方式如下：
- 给定一个新任务，它从任务库中选择多步推理和工具使用的演示
- 在测试时，每当调用外部工具时，它会暂停生成，并在恢复生成之前集成它们的输出
ART鼓励模型从演示中推广，将新任务分解并以零短方式在适当的位置使用工具。此外，ART是可扩展的，因为它还使人类可以通过简单更新任务和工具库来纠正推理步骤中的错误或添加新工具。该过程如下所示：
图片来源：Paranjape等人（2023）
在BigBench和MMLU基准测试中，ART在未见任务上显著改进了少样本提示和自动CoT，并在人类反馈纳入时超过了手工制作的CoT提示的性能。
下表展示了ART在BigBench和MMLU任务上的表现：
图片来源：Paranjape等人（2023）