偏见

LLM 可能会产生有问题的生成结果，这可能会对模型在下游任务上的性能产生负面影响，并显示出可能会恶化模型性能的偏见。一些问题可以通过有效的提示策略来缓解，但可能需要更高级的解决方案，比如调节和过滤。

样本分布

在进行少样本学习时，样本的分布是否会影响模型的性能或在某种程度上使模型产生偏见？我们可以在这里进行一个简单的测试。

提示:

Q: 我刚得到了最好的消息！
A: 积极

Q: 我们刚刚在工作中得到了加薪！
A: 积极

Q: 我为今天取得的成就感到自豪。
A: 积极

Q: 我今天过得太棒了！
A: 积极

Q: 我真的很期待周末。
A: 积极

Q: 我刚收到了最好的礼物！
A: 积极

Q: 我现在感到非常开心。
A: 积极

Q: 我很庆幸拥有这么棒的家人。
A: 积极

Q: 外面的天气好阴沉。
A: 消极

Q: 我刚得到了一些糟糕的消息。
A: 消极

Q: 那让人感到不愉快。
A:

输出:

消极

在上面的例子中，似乎样本的分布并没有使模型产生偏见。这是好事。让我们尝试另一个更难分类的例子，看看模型的表现如何：

提示:

Q: 这里的食物很美味！
A: 积极

Q: 我对这门课程感到厌倦。
A: 消极

Q: 我无法相信我考试不及格了。
A: 消极

Q: 今天过得很愉快！
A: 积极

Q: 我讨厌这份工作。
A: 消极

Q: 这里的服务太糟糕了。
A: 消极

Q: 我对我的生活感到沮丧。
A: 消极

Q: 我从未休息过。
A: 消极

Q: 这顿饭尝起来很糟糕。
A: 消极

Q: 我受不了我的老板。
A: 消极

Q: 我有一种感觉。
A:

输出:

消极

虽然最后一句话有点主观，我改变了分布，使用了 8 个积极例子和 2 个消极例子，然后再次尝试相同的句子。猜猜模型的回答是什么？它回答“积极”。模型可能对情感分类有很多了解，因此很难让它在这个问题上显示出偏见。建议是避免扭曲分布，而是为每个标签提供更平衡数量的例子。对于模型了解不多的更难任务，它可能会更加困难。

样本顺序

在进行少样本学习时，顺序是否会影响模型的性能或在某种程度上使模型产生偏见？

您可以尝试上述例子，看看是否可以通过改变顺序使模型偏向某个标签。建议是随机排列样本。例如，避免所有积极例子排在前面，然后将消极例子放在最后。如果标签的分布倾斜，这个问题会进一步放大。请务必进行大量实验以减少这种类型的偏见。