Local AI

LocalAI 是一个开源大型语言模型（LLM）的 API 封装器，与 OpenAI 兼容。你可以运行 LocalAI 以兼容 Llama、Alpaca、Vicuna、GPT4All、RedPajama 以及许多其他兼容 ggml 格式的模型。

查看所有兼容模型 点击这里。

一旦 LocalAI 启动并运行，根据你选择的模型指定以下之一：

• localai:chat:<模型名称>，使用 LocalAI 聊天完成端点 调用模型
• localai:completion:<模型名称>，使用 LocalAI 完成端点 调用模型
• localai:<模型名称>，默认使用聊天类型模型
• localai:embeddings:<模型名称>，使用 LocalAI 嵌入端点 调用模型

模型名称通常是你下载到 LocalAI 中设置模型的 .bin 文件的文件名。例如，ggml-vic13b-uncensored-q5_1.bin。LocalAI 还有一个 /models 端点用于列出模型，可以通过 curl http://localhost:8080/v1/models 查询。

配置参数

你可以设置 temperature 和 apiBaseUrl 等参数（完整列表在这里）。例如，使用 LocalAI 的 lunademo：

providers:
  - id: localai:lunademo
    config:
      temperature: 0.5

支持的环境变量：

• LOCALAI_BASE_URL - 默认为 http://localhost:8080/v1
• REQUEST_TIMEOUT_MS - 最大请求时间，单位为毫秒。默认为 60000。