llama2-functions
这个模板使用支持指定JSON输出模式的LLaMA2模型从非结构化数据中提取结构化数据。
提取模式可以在chain.py中设置。
环境设置
这将使用由Replicate托管的LLaMA2-13b模型。
确保在您的环境中设置了REPLICATE_API_TOKEN。
使用方法
要使用这个包，您首先需要安装LangChain CLI：
pip install -U langchain-cli
要创建一个新的LangChain项目并将其安装为唯一的包，可以执行以下操作：
langchain app new my-app --package llama2-functions
如果要将其添加到现有项目中，只需运行：
langchain app add llama2-functions
并将以下代码添加到您的server.py文件中：
from llama2_functions import chain as llama2_functions_chain
add_routes(app, llama2_functions_chain, path="/llama2-functions")
（可选）现在让我们配置LangSmith。
LangSmith将帮助我们跟踪、监控和调试LangChain应用程序。
您可以在此处注册LangSmith。
如果您没有访问权限，可以跳过此部分。
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project> # 如果未指定，默认为"default"
如果您在此目录中，则可以直接启动LangServe实例：
langchain serve
这将启动FastAPI应用程序，服务器在本地运行，地址为
我们可以在http://127.0.0.1:8000/docs上查看所有模板。
我们可以在http://127.0.0.1:8000/llama2-functions/playground上访问playground。
我们可以通过以下代码访问模板：
from langserve.client import RemoteRunnable
runnable = RemoteRunnable("http://localhost:8000/llama2-functions")