Skip to main content
Open In ColabOpen on GitHub

Databricks

Databricks Lakehouse 平台在一个平台上统一了数据、分析和人工智能。

本笔记本提供了快速入门Databricks LLM模型的概述。有关所有功能和配置的详细文档，请前往API参考。

概述​

Databricks LLM 类封装了一个托管为以下两种端点类型之一的完成端点：

  • Databricks Model Serving，推荐用于生产和开发，
  • 集群驱动代理应用程序，推荐用于交互式开发。

此示例笔记本展示了如何包装您的LLM端点并在您的LangChain应用程序中使用它作为LLM。

限制​

Databricks LLM 类是旧版实现，在功能兼容性方面存在一些限制。

  • 仅支持同步调用。不支持流式或异步API。
  • batch API 不支持。

要使用这些功能，请使用新的ChatDatabricks类。ChatDatabricks支持ChatModel的所有API，包括流式、异步、批量等。

设置​

要访问Databricks模型，您需要创建一个Databricks账户，设置凭据（仅当您在Databricks工作区外部时），并安装所需的包。

凭证（仅当您在Databricks外部时）​

如果您在Databricks中运行LangChain应用程序，可以跳过此步骤。

否则，您需要手动将Databricks工作区主机名和个人访问令牌分别设置为DATABRICKS_HOST和DATABRICKS_TOKEN环境变量。有关如何获取访问令牌的信息，请参阅认证文档。

import getpass
import os

os.environ["DATABRICKS_HOST"] = "https://your-workspace.cloud.databricks.com"
if "DATABRICKS_TOKEN" not in os.environ:
    os.environ["DATABRICKS_TOKEN"] = getpass.getpass(
        "Enter your Databricks access token: "
    )

或者，您可以在初始化Databricks类时传递这些参数。

from langchain_community.llms import Databricks

databricks = Databricks(
    host="https://your-workspace.cloud.databricks.com",
    # We strongly recommend NOT to hardcode your access token in your code, instead use secret management tools
    # or environment variables to store your access token securely. The following example uses Databricks Secrets
    # to retrieve the access token that is available within the Databricks notebook.
    token=dbutils.secrets.get(scope="YOUR_SECRET_SCOPE", key="databricks-token"),  # noqa: F821
)
API Reference:Databricks

安装​

LangChain Databricks 集成位于 langchain-community 包中。此外，运行此笔记本中的代码需要 mlflow >= 2.9。

%pip install -qU langchain-community mlflow>=2.9.0

包装模型服务端点​

先决条件:​

预期的MLflow模型签名是：

  • 输入: [{"name": "prompt", "type": "string"}, {"name": "stop", "type": "list[string]"}]
  • 输出: [{"type": "string"}]

调用​

from langchain_community.llms import Databricks

llm = Databricks(endpoint_name="YOUR_ENDPOINT_NAME")
llm.invoke("How are you?")
API Reference:Databricks
'I am happy to hear that you are in good health and as always, you are appreciated.'
llm.invoke("How are you?", stop=["."])
'Good'

转换输入和输出​

有时你可能想要包装一个具有不兼容模型签名的服务端点，或者你想插入额外的配置。你可以使用transform_input_fn和transform_output_fn参数来定义额外的预处理/后处理。

# Use `transform_input_fn` and `transform_output_fn` if the serving endpoint
# expects a different input schema and does not return a JSON string,
# respectively, or you want to apply a prompt template on top.


def transform_input(**request):
    full_prompt = f"""{request["prompt"]}
    Be Concise.
    """
    request["prompt"] = full_prompt
    return request


def transform_output(response):
    return response.upper()


llm = Databricks(
    endpoint_name="YOUR_ENDPOINT_NAME",
    transform_input_fn=transform_input,
    transform_output_fn=transform_output,
)

llm.invoke("How are you?")
'I AM DOING GREAT THANK YOU.'

这个页面有帮助吗？