主动提示

思维链（CoT）方法依赖于一组固定的人工注释示例。问题在于这些示例可能并不是针对不同任务最有效的示例。为了解决这个问题，Diao等人（2023）最近提出了一种新的提示方法，称为主动提示（Active-Prompt），以适应LLMs对不同任务特定示例提示（用人设计的CoT推理进行注释）。

下面是该方法的示意图。第一步是向LLM查询带有或不带有少量CoT示例的问题。为一组训练问题生成k个可能的答案。基于k个答案计算不确定性度量（使用不一致性）。选择最不确定的问题由人类进行注释。然后使用新注释的示例来推断每个问题。