LiteLLM
LiteLLM 是一个简化调用 Anthropic、Azure、Huggingface、Replicate 等 LLMs 的库，以统一的方式进行调用。
你可以通过以下方式使用
LiteLLM：
- LiteLLM Proxy Server - 用于调用100+ LLM的服务器，跨项目的负载均衡和成本跟踪
- LiteLLM python SDK - 用于调用100+ LLMs的Python客户端，支持负载均衡和成本跟踪
安装和设置
安装 litellm Python 包。
pip install litellm
聊天模型
ChatLiteLLM
查看一个使用示例。
from langchain_community.chat_models import ChatLiteLLM
API Reference:ChatLiteLLM
ChatLiteLLM路由器
你也可以使用ChatLiteLLMRouter来将请求路由到不同的LLMs或LLM提供商。
查看使用示例。
from langchain_community.chat_models import ChatLiteLLMRouter
API Reference:ChatLiteLLMRouter