贡献一个LabelledRagDataset
#
构建一个更加健壮的RAG系统需要一个多样化的评估套件。这就是为什么我们在llama-hub推出了LlamaDatasets
。在这个页面上,我们将讨论您如何贡献在llama-hub中提供的第一种LlamaDataset
,即LabelledRagDataset
。
贡献一个LabelledRagDataset
包括两个高层次的步骤。一般来说,您需要创建LabelledRagDataset
,将其保存为一个json文件,并将这个json文件和源文本文件提交到我们的llama-datasets存储库。此外,您还需要发起一个拉取请求,将数据集的必要元数据上传到我们的llama-hub存储库。
为了帮助简化提交流程,我们准备了一个模板笔记本,您可以按照这个模板从头开始创建一个LabelledRagDataset
(或将一个结构类似的问答数据集转换为一个),并执行其他必要的步骤来完成您的提交。请参考下方链接的"LlamaDataset Submission Template Notebook"。
贡献其他llama-datasets#
贡献任何其他llama-datasets,比如LabelledEvaluatorDataset
的一般流程与之前描述的LabelledRagDataset
相同。这些其他数据集的提交模板即将推出!
提交示例#
阅读完整的提交示例笔记本。