Skip to main content
Open on GitHub

OpenLLM

OpenLLM 允许开发者通过一条命令运行任何开源 LLMs，并将其作为OpenAI 兼容的 API 端点。

  • 🔬 为快速和生产用途构建
  • 🚂 支持 llama3、qwen2、gemma 等，以及许多量化版本 完整列表
  • ⛓️ OpenAI兼容的API
  • 💬 内置类似ChatGPT的用户界面
  • 🔥 使用最先进的推理后端加速LLM解码
  • 🌥️ 准备好用于企业级云部署（Kubernetes、Docker 和 BentoCloud）

安装与设置​

通过PyPI安装OpenLLM包：

pip install openllm

LLM​

OpenLLM 支持多种开源 LLM 以及用户自己微调的 LLM。使用 openllm model 命令查看所有为 OpenLLM 预优化的可用模型。

包装器​

有一个OpenLLM Wrapper，支持与运行中的服务器通过OpenLLM进行交互：

from langchain_community.llms import OpenLLM
API Reference:OpenLLM

OpenLLM 服务器的包装器​

此包装器支持与OpenLLM的OpenAI兼容端点进行交互。

要运行模型，请执行以下操作：

openllm hello

包装器用法：

from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="http://localhost:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")
API Reference:OpenLLM

用法​

有关OpenLLM Wrapper的更详细演练，请参阅 示例笔记本

这个页面有帮助吗？