Skip to content

贡献一个LabelledRagDataset#

构建一个更加健壮的RAG系统需要一个多样化的评估套件。这就是为什么我们在llama-hub推出了LlamaDatasets。在这个页面上,我们将讨论您如何贡献在llama-hub中提供的第一种LlamaDataset,即LabelledRagDataset

贡献一个LabelledRagDataset包括两个高层次的步骤。一般来说,您需要创建LabelledRagDataset,将其保存为一个json文件,并将这个json文件和源文本文件提交到我们的llama-datasets存储库。此外,您还需要发起一个拉取请求,将数据集的必要元数据上传到我们的llama-hub存储库

为了帮助简化提交流程,我们准备了一个模板笔记本,您可以按照这个模板从头开始创建一个LabelledRagDataset(或将一个结构类似的问答数据集转换为一个),并执行其他必要的步骤来完成您的提交。请参考下方链接的"LlamaDataset Submission Template Notebook"。

贡献其他llama-datasets#

贡献任何其他llama-datasets,比如LabelledEvaluatorDataset的一般流程与之前描述的LabelledRagDataset相同。这些其他数据集的提交模板即将推出!

提交示例#

阅读完整的提交示例笔记本