Runhouse
本页面介绍了如何在LangChain中使用Runhouse生态系统。 它分为三个部分:安装和设置、LLMs和嵌入。
安装与设置
- 使用
pip install runhouse
安装 Python SDK - 如果您想使用按需集群,请使用
sky check
检查您的云凭证
自托管的LLMs
对于一个基本的自托管LLM,你可以使用SelfHostedHuggingFaceLLM
类。对于更多自定义的LLM,你可以使用SelfHostedPipeline
父类。
from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM
API Reference:SelfHostedPipeline | SelfHostedHuggingFaceLLM
有关自托管LLMs的更详细演练,请参阅此笔记本
自托管嵌入
有几种方法可以通过Runhouse在LangChain中使用自托管的嵌入。
对于从Hugging Face Transformers模型生成的基本自托管嵌入,您可以使用SelfHostedEmbedding
类。
from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM
API Reference:SelfHostedPipeline | SelfHostedHuggingFaceLLM
有关自托管嵌入的更详细演练,请参阅此笔记本