Skip to main content

Mistral AI

Mistral AI API 提供了对各种 Mistral 模型的访问。

API Key​

要使用 Mistral AI，您需要设置 MISTRAL_API_KEY 环境变量，或在提供者配置中指定 apiKey。

设置环境变量的示例：

export MISTRAL_API_KEY=your_api_key_here

模型选择​

您可以在配置中指定要使用的 Mistral 模型。以下是可用的模型：

聊天模型​

  1. open-mistral-7b, mistral-tiny, mistral-tiny-2312
  2. open-mistral-nemo, open-mistral-nemo-2407, mistral-tiny-2407, mistral-tiny-latest
  3. mistral-small-2402, mistral-small-latest
  4. mistral-medium-2312, mistral-medium, mistral-medium-latest
  5. mistral-large-2402
  6. mistral-large-2407, mistral-large-latest
  7. codestral-2405, codestral-latest
  8. codestral-mamba-2407, open-codestral-mamba, codestral-mamba-latest
  9. open-mixtral-8x7b, mistral-small, mistral-small-2312
  10. open-mixtral-8x22b, open-mixtral-8x22b-2404

嵌入模型​

  • mistral-embed

以下是比较不同 Mistral 模型的示例配置：

providers:
  - mistral:mistral-medium-latest
  - mistral:mistral-small-latest
  - mistral:open-mistral-nemo

选项​

Mistral 提供者支持多个选项来自定义模型的行为。这些选项包括：

  • temperature：控制输出的随机性。
  • top_p：控制核采样，影响输出的随机性。
  • max_tokens：生成的文本的最大长度。
  • safe_prompt：是否强制在提示中使用安全内容。
  • random_seed：用于确定性输出的种子。
  • response_format：启用 JSON 模式，通过将 response_format 设置为 {"type": "json_object"}。必须明确要求模型生成 JSON 输出。目前仅支持其更新模型 mistral-small-latest 和 mistral-large-latest。
  • apiKeyEnvar：包含 API 密钥的环境变量
  • apiHost：Mistral API 的主机名，请同时阅读下面的 MISTRAL_API_HOST。
  • apiBaseUrl：Mistral API 的基本 URL，请同时阅读下面的 MISTRAL_API_BASE_URL。

带有选项的示例配置：

providers:
  - id: mistral:mistral-large-latest
    config:
      temperature: 0.7
      max_tokens: 512
      safe_prompt: true
      response_format: { 'type': 'json_object' }

附加功能​

  • 缓存：默认缓存之前的 LLM 请求。
  • 令牌使用跟踪：提供每个请求中使用的令牌数量的详细信息，有助于使用监控和优化。
  • 成本计算：根据生成的令牌数量和使用的特定模型计算每个请求的成本。

支持的环境变量​

这些 Mistral 相关的环境变量受支持：

变量描述
MISTRAL_API_HOST要使用的主机名（如果您使用 API 代理，这很有用）。优先于 MISTRAL_API_BASE_URL。
MISTRAL_API_BASE_URL要使用的基本 URL（协议 + 主机名 + 端口），这是一个比 MISTRAL_API_HOST 更通用的选项。
MISTRAL_API_KEYMistral API 密钥。