Skip to main content

AI21 Labs

AI21 Labs API 提供了对 AI21 模型（如 jamba-1.5-mini 和 jamba-1.5-large）的访问。

API Key​

要使用 AI21 Labs，您需要设置 AI21_API_KEY 环境变量，或在提供者配置中指定 apiKey。

设置环境变量的示例：

export AI21_API_KEY=your_api_key_here

模型选择​

您可以在配置中指定要使用的 AI21 模型。目前，以下模型可用：

  1. jamba-1.5-mini
  2. jamba-1.5-large

以下是一个比较 AI21 模型的配置示例：

providers:
  - ai21:jamba-1.5-mini
  - ai21:jamba-1.5-large

选项​

AI21 提供者支持多个选项来自定义模型的行为。这些选项包括：

  • temperature：控制输出的随机性。
  • top_p：控制核采样，影响输出的随机性。
  • max_tokens：生成的文本的最大长度。
  • response_format：设置为 { type: 'json_object' } 以 JSON 格式输出，或设置为 { type: 'text' } 以文本格式输出。
  • apiKeyEnvar：包含 API 密钥的环境变量。
  • apiBaseUrl：AI21 API 的基本 URL。

配置示例​

以下是 AI21 提供者的配置示例：

providers:
  - ai21:jamba-1.5-mini
    config:
      apiKey: your_api_key_here
      temperature: 0.1
      top_p: 1
      max_tokens: 1024
      response_format: { type: 'json_object' }

此配置使用 jamba-1.5-mini 模型，温度为 0.1，top-p 采样值为 1，最大输出长度为 1024 个 token，JSON 格式输出，以及每 1M 输入 token 0.2 美元的自定义成本。

成本​

使用 AI21 模型的成本取决于模型和输入输出 token 的数量。以下是可用模型的成本：

  • jamba-1.5-mini：每 1M 输入 token 0.2 美元，每 1M 输出 token 0.4 美元
  • jamba-1.5-large：每 1M 输入 token 2 美元，每 1M 输出 token 8 美元

您可以在提供者配置中设置 cost 选项，以指定模型的自定义成本。

支持的环境变量​

支持以下与 AI21 相关的环境变量：

变量描述
AI21_API_BASE_URL用于 AI21 API 的基本 URL（协议 + 主机名 + 端口）。
AI21_API_KEYAI21 API 密钥。