Factuality

事实性

LLMs 倾向于生成听起来连贯且有说服力的回答,但有时这些回答可能是编造的。改进提示可以帮助模型生成更准确/真实的回答,并减少生成不一致和编造回答的可能性。

一些解决方案可能包括:

  • 提供真实数据(例如,相关文章段落或维基百科条目)作为上下文的一部分,以减少模型生成虚构文本的可能性。
  • 通过降低概率参数并指示模型在不知道答案时承认(例如,“我不知道”),配置模型以产生较少多样化的响应。
  • 在提示中提供一些问题和回答的例子组合,这些例子可能是它知道的和不知道的

让我们看一个简单的例子:

提示:

Q: What is an atom? 
A: An atom is a tiny particle that makes up everything. 

Q: Who is Alvan Muntz? 
A: ? 

Q: What is Kozar-09? 
A: ? 

Q: How many moons does Mars have? 
A: Two, Phobos and Deimos. 

Q: Who is Neto Beto Roberto? 

输出:

A: ?

我编造了名字“Neto Beto Roberto”,所以在这个例子中模型是正确的。试着稍微改变一下问题,看看是否能让它工作。根据你到目前为止所学到的知识,有几种不同的方法可以进一步改进这一点。