LLM 设置

在设计和测试提示时，您通常通过API与LLM进行交互。您可以配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性和期望性非常重要，并且需要一些实验来确定适合您用例的正确设置。以下是使用不同LLM提供商时常见的设置：

温度 - 简而言之，temperature越低，结果就越确定，即总是选择概率最高的下一个标记。增加温度可能会导致更多的随机性，从而鼓励更多样化或更具创造性的输出。你实际上是在增加其他可能标记的权重。在应用方面，对于基于事实的问答任务，你可能希望使用较低的温度值，以鼓励更事实性和简洁的回答。对于诗歌生成或其他创造性任务，增加温度值可能是有益的。

Top P - 一种带有温度的采样技术，称为核心采样，您可以控制模型的确定性。如果您需要准确和事实性的答案，请将此值保持较低。如果您希望获得更多样化的响应，请增加到一个较高的值。如果使用Top P，则意味着只有包含top_p概率质量的标记才会被考虑用于响应，因此较低的top_p值会选择最自信的响应。这意味着较高的top_p值将使模型能够查看更多可能的单词，包括不太可能的单词，从而产生更多样化的输出。

一般建议是调整温度或Top P，但不要同时调整两者。

最大长度 - 您可以通过调整max length来管理模型生成的令牌数量。指定最大长度有助于防止生成过长或不相关的响应，并控制成本。

停止序列 - stop sequence 是一个字符串，用于阻止模型生成更多的标记。指定停止序列是控制模型响应长度和结构的另一种方式。例如，您可以通过添加“11”作为停止序列来告诉模型生成的列表不超过10个项目。

频率惩罚 - frequency penalty 根据该标记在响应和提示中已经出现的次数，对下一个标记施加相应的惩罚。频率惩罚越高，单词再次出现的可能性就越低。此设置通过给出现次数较多的标记施加更高的惩罚，来减少模型响应中单词的重复。

存在惩罚 - presence penalty 也会对重复的标记施加惩罚，但与频率惩罚不同，所有重复标记的惩罚是相同的。一个出现两次的标记和一个出现十次的标记会受到相同的惩罚。此设置可防止模型在其响应中过于频繁地重复短语。如果您希望模型生成多样化或创造性的文本，您可能希望使用较高的存在惩罚。或者，如果您需要模型保持专注，可以尝试使用较低的存在惩罚。

类似于temperature和top_p，一般建议更改频率或存在惩罚，但不要同时更改两者。

在开始一些基本示例之前，请记住，您的结果可能会根据您使用的LLM版本而有所不同。