LLM 设置

在设计和测试提示时，通常通过 API 与 LLM 进行交互。您可以配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性和吸引力至关重要，需要一些实验来找出适合您用例的正确设置。以下是在使用不同的 LLM 提供商时会遇到的常见设置：

温度（Temperature） - 简而言之，温度越低，结果越确定，即始终选择最可能的下一个标记。增加温度可能导致更多的随机性，从而鼓励更多多样化或创造性的输出。实质上，您正在增加其他可能标记的权重。在应用方面，您可能希望对于诸如基于事实的问答任务使用较低的温度值，以鼓励更加客观和简洁的回答。对于诗歌生成或其他创造性任务，增加温度值可能是有益的。

Top P - 与温度结合使用的一种采样技术，称为 nucleus 采样，您可以控制模型的确定性。如果您寻求确切和客观的答案，请保持较低的值。如果您希望获得更多样化的回答，请增加到较高的值。如果使用 Top P，则意味着仅考虑组成 top_p 概率质量的标记，因此较低的 top_p 值选择最可信的回答。这意味着较高的 top_p 值将使模型查看更多可能的单词，包括可能性较低的单词，从而产生更多样化的输出。

一般建议是修改温度或 Top P，但不要同时修改两者。

最大长度（Max Length） - 通过调整 最大长度，您可以管理模型生成的标记数量。指定最大长度有助于防止过长或无关的回答，并控制成本。

停止序列（Stop Sequences） - 停止序列是一个阻止模型生成标记的字符串。指定停止序列是控制模型响应的长度和结构的另一种方法。例如，您可以通过添加 "11" 作为停止序列，告诉模型生成不超过 10 个项目的列表。

频率惩罚（Frequency Penalty） - 频率惩罚对下一个标记施加惩罚，与响应和提示中该标记已经出现的次数成比例。频率惩罚越高，单词再次出现的可能性就越小。通过给出更频繁出现的标记更高的惩罚，此设置减少了模型响应中单词的重复。

存在惩罚（Presence Penalty） - 存在惩罚也对重复的标记施加惩罚，但与频率惩罚不同，对所有重复的标记施加相同的惩罚。出现两次和出现十次的标记会受到相同的惩罚。此设置防止模型在响应中过于频繁地重复短语。如果您希望模型生成多样化或创造性的文本，可能需要使用较高的存在惩罚。或者，如果需要模型保持专注，可以尝试使用较低的存在惩罚。

与 温度 和 top_p 类似，一般建议是修改频率或存在惩罚，但不要同时修改两者。

在开始一些基本示例之前，请记住，您的结果可能会因您使用的 LLM 版本而有所不同。