配置和启动网关服务器

步骤 1: 安装

首先，安装 MLflow 以及 genai 额外功能，以获取一系列与服务相关的依赖项，包括 uvicorn 和 fastapi。请注意，不需要直接依赖 OpenAI，因为所有支持的提供商都对开发者进行了抽象。

pip install 'mlflow[genai]'

步骤 2：将 OpenAI 令牌设置为环境变量

接下来，在您的CLI中将OpenAI API密钥设置为环境变量。

这种方法允许 MLflow AI 网关安全地读取敏感的 API 密钥，从而降低代码中泄露令牌的风险。网关服务器在启动时，将读取此环境变量设置的值，无需任何额外操作。

export OPENAI_API_KEY=your_api_key_here

步骤 3：配置网关服务器

第三，为网关服务器设置多个路由。网关服务器的配置是通过编辑一个YAML文件来完成的，该文件由服务器初始化命令读取（在第4步中介绍）。

值得注意的是，网关服务器允许通过YAML配置对活动服务器进行实时更新；更改生效不需要重启服务，而是可以通过编辑在服务器启动时定义的配置文件来简单完成，从而允许在服务不停机的情况下动态创建路由。

endpoints:
- name: completions
  endpoint_type: llm/v1/completions
  model:
      provider: openai
      name: gpt-4o-mini
      config:
          openai_api_key: $OPENAI_API_KEY

- name: chat
  endpoint_type: llm/v1/chat
  model:
      provider: openai
      name: gpt-4
      config:
          openai_api_key: $OPENAI_API_KEY

- name: chat_3.5
  endpoint_type: llm/v1/chat
  model:
      provider: openai
      name: gpt-4o-mini
      config:
          openai_api_key: $OPENAI_API_KEY

- name: embeddings
  endpoint_type: llm/v1/embeddings
  model:
      provider: openai
      name: text-embedding-ada-002
      config:
          openai_api_key: $OPENAI_API_KEY

步骤 4：启动服务器

第四，让我们测试网关服务器！

要使用 YAML 配置文件启动网关服务器，请使用部署 CLI 命令。

网关服务器将自动在 localhost 的 5000 端口启动，可通过 URL: http://localhost:5000 访问。要修改这些默认设置，请使用 mlflow gateway start --help 命令查看其他配置选项。

mlflow gateway start --config-path config.yaml

备注

MLflow AI Gateway 自动创建 API 文档。您可以通过查看文档来验证部署服务器是否正在运行。在您的网络浏览器中访问 http://{host}:{port}。