rag-redis-multi-modal-multi-vector
多模态LLM使得视觉助手能够对图像进行问答。
该模板创建了一个用于幻灯片演示的视觉助手，通常包含图表或图片等视觉元素。
它使用GPT-4V为每张幻灯片创建图像摘要，将摘要嵌入并存储在Redis中。
给定一个问题，相关幻灯片将被检索并传递给GPT-4V进行答案合成。
输入
在/docs目录中提供一个PDF格式的幻灯片演示文稿。
默认情况下，此模板包含有关NVIDIA最近收益的幻灯片演示文稿。
可以提出的示例问题包括：
1/ H100 TensorRT可以提高LLama2推理性能多少？
2/ GPU加速应用程序从2020年到2023年的变化率是多少？
要创建幻灯片演示文稿的索引，请运行：
poetry install
poetry shell
python ingest.py
存储
以下是模板将使用的过程来创建幻灯片索引（参见博客）：
将幻灯片提取为图像集合
使用GPT-4V对每个图像进行摘要
使用文本嵌入嵌入图像摘要，并附带原始图像的链接
基于图像摘要与用户输入问题之间的相似性检索相关图像
将这些图像传递给GPT-4V进行答案合成
Redis
此模板使用Redis来支持MultiVectorRetriever，包括：
Redis作为VectorStore（用于存储+索引图像摘要嵌入）
Redis作为ByteStore（用于存储图像）
请确保部署一个Redis实例，可以在云端（免费）或本地使用docker。
这将为您提供一个可访问的Redis端点，您可以将其用作URL。如果在本地部署，请简单地使用redis://localhost:6379。
LLM
该应用程序将根据文本输入与图像摘要（文本）之间的相似性检索图像，并将图像传递给GPT-4V进行答案合成。
环境设置
设置OPENAI_API_KEY环境变量以访问OpenAI GPT-4V。
设置REDIS_URL环境变量以访问您的Redis数据库。
使用
要使用此软件包，您首先应安装LangChain CLI：
pip install -U langchain-cli
要创建一个新的LangChain项目并将其安装为唯一软件包，您可以执行：
langchain app new my-app --package rag-redis-multi-modal-multi-vector
如果要将其添加到现有项目中，只需运行：
langchain app add rag-redis-multi-modal-multi-vector
并将以下代码添加到您的server.py文件中：
from rag_redis_multi_modal_multi_vector import chain as rag_redis_multi_modal_chain_mv
add_routes(app, rag_redis_multi_modal_chain_mv, path="/rag-redis-multi-modal-multi-vector")
（可选）现在让我们配置LangSmith。
LangSmith将帮助我们跟踪、监视和调试LangChain应用程序。
您可以在此处注册LangSmith。
如果您没有访问权限，可以跳过此部分
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project> # 如果未指定，默认为"default"
如果您在此目录中，则可以通过以下方式直接启动LangServe实例：
langchain serve
这将在本地启动一个运行的FastAPI应用程序，服务器位于
我们可以在http://127.0.0.1:8000/docs查看所有模板。
我们可以在http://127.0.0.1:8000/rag-redis-multi-modal-multi-vector/playground访问playground。
我们可以通过以下代码访问模板：
from langserve.client import RemoteRunnable
runnable = RemoteRunnable("http://localhost:8000/rag-redis-multi-modal-multi-vector")