Baseten
Baseten 是一个提供所有基础设施的供应商，您需要这些基础设施来部署和服务ML模型，以实现高性能、可扩展性和成本效益。
作为一个模型推理平台，
Baseten是 LangChain 生态系统中的一个Provider。 目前，Baseten集成实现了一个单一的Component，即 LLMs，但计划中还有更多！
Baseten允许您在专用GPU上运行开源模型如 Llama 2 或 Mistral，以及运行专有或微调的模型。如果您习惯于使用像 OpenAI 这样的提供商，使用 Baseten 会有一些不同之处：
- 不是按每个token付费，而是按使用的GPU分钟数付费。
- Baseten上的每个模型都使用Truss，我们的开源模型打包框架，以实现最大的可定制性。
- 虽然我们有一些OpenAI ChatCompletions兼容模型，但你可以使用
Truss定义自己的I/O规范。
了解更多关于模型ID和部署的信息。
了解更多关于Baseten的信息，请访问Baseten文档。
安装与设置
你需要两样东西来使用 LangChain 的 Baseten 模型：
- 一个 Baseten 账户
- 一个 API 密钥
将您的API密钥导出为名为BASETEN_API_KEY的环境变量。
export BASETEN_API_KEY="paste_your_api_key_here"
大型语言模型
查看使用示例。
from langchain_community.llms import Baseten
API Reference:Baseten