Active-Prompt

主动提示

思维链(CoT)方法依赖于一组固定的人工注释示例。问题是这些示例可能不是不同任务中最有效的例子。为了解决这个问题,Diao等人(2023)(在新标签页中打开)最近提出了一种新的提示方法,称为Active-Prompt,以使LLMs适应不同的任务特定示例提示(使用人工设计的CoT推理进行注释)。

以下是该方法的说明。第一步是使用或不使用一些CoT示例来查询LLM。为一组训练问题生成k个可能的答案。基于k个答案(使用分歧)计算不确定性度量。选择最不确定的问题由人类进行注释。然后使用新的注释示例来推断每个问题。

ACTIVE

图片来源: Diao et al., (2023) (在新标签页中打开)