RAG 教程
你可以在下面找到一个 RAG 教程列表。这些教程旨在帮助你开始使用 RAG 评估,并引导你完成一个具体的示例,展示如何评估一个回答关于 MLflow 文档问题的 RAG 应用程序。
端到端 LLM RAG 评估教程
本笔记本专为在 Databricks 平台上使用而设计,展示了如何配置、创建并与完整的 RAG 系统进行交互的端到端示例。本教程中使用的示例使用 MLflow 的文档作为嵌入文档的语料库,RAG 应用程序将使用这些文档来回答问题。使用 ChromaDB 存储文档嵌入,并使用 LangChain 来编排 RAG 应用程序,我们将使用 MLflow 的 evaluate 功能来根据一系列问题评估从我们的语料库中检索到的文档。您可以点击“下载此笔记本”按钮将 .ipynb
文件下载到本地,并直接导入到 Databricks 工作区中。
RAG 教程的问题生成
本笔记本是一个逐步教程,介绍如何在RAG内生成用于检索评估的问题数据集。它将指导您获取文档数据集,通过LLMs上的提示工程生成相关问题,并分析问题数据集。然后,该问题数据集可用于后续的检索模型评估任务,这是RAG的一部分,它根据用户的问题收集和排序相关文档块。
检索器评估教程
本教程通过一个具体的示例,指导您如何构建和评估一个回答有关MLflow文档问题的RAG应用程序。
在本教程中,您将学习:
如何为您的RAG应用程序准备评估数据集。
如何在 MLflow 评估 API 中调用你的检索器。
如何使用 MLflow evaluate 根据一系列查询评估检索器检索相关文档的能力。
如果您希望在您的环境中执行此笔记本的副本,请在此处下载笔记本: