LLM 在上下文中的回忆受提示影响

这篇由 Machlab 和 Battle (2024) 撰写的新论文分析了使用几种“大海捞针”测试来评估不同 LLM 的上下文回忆表现。

研究表明，不同的 LLM 在回忆事实时的长度和位置深度存在差异。它发现模型的回忆表现受提示中微小变化的显著影响。

来源：Machlab 和 Battle (2024)

此外，提示内容和训练数据之间的相互作用可能会降低响应质量。

模型的回忆能力可以通过增加大小、增强注意力机制、尝试不同的训练策略和应用微调来改善。

论文中的重要实用提示是：“持续评估将进一步为个别用例的 LLM 选择提供信息，最大程度地发挥其在技术不断发展的实际应用中的影响和效率。”

这篇论文的要点在于谨慎设计提示的重要性，建立持续评估协议，并测试不同的模型增强策略以改善回忆和效用。