Skip to main content
Open on GitHub

Runhouse

本页面介绍了如何在LangChain中使用Runhouse生态系统。 它分为三个部分:安装和设置、LLMs和嵌入。

安装与设置

  • 使用 pip install runhouse 安装 Python SDK
  • 如果您想使用按需集群,请使用sky check检查您的云凭证

自托管的LLMs

对于一个基本的自托管LLM,你可以使用SelfHostedHuggingFaceLLM类。对于更多自定义的LLM,你可以使用SelfHostedPipeline父类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管LLMs的更详细演练,请参阅此笔记本

自托管嵌入

有几种方法可以通过Runhouse在LangChain中使用自托管的嵌入。

对于从Hugging Face Transformers模型生成的基本自托管嵌入,您可以使用SelfHostedEmbedding类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管嵌入的更详细演练,请参阅此笔记本


这个页面有帮助吗?