Skip to main content

Together AI

Together.AI API 提供了对 众多模型 的访问，例如 Mistral/Mixtral、Llama 等。

它与 OpenAI API 兼容。要在评估中使用 Together AI API，请将 apiBaseUrl 变量设置为 https://api.together.xyz，并将 apiKey 变量设置为您的 Together AI API 密钥。

以下是使用 Together AI 提供的 Mixtral 的示例配置：

providers:
  - id: openai:chat:mistralai/Mixtral-8x7B-Instruct-v0.1
    config:
      apiBaseUrl: https://api.together.xyz/v1
      apiKeyEnvar: TOGETHER_API_KEY

如果需要，您可以使用 OPENAI_BASE_URL 环境变量代替 apiBaseUrl 配置属性。

在此示例中，您还需要设置 TOGETHER_API_KEY 环境变量（您也可以直接在配置中使用 apiKey 属性输入它）。