使用 Amazon Bedrock 与 Jupyter AI#
Bedrock 支持多家语言模型提供商，如 AI21 Labs、Amazon、Anthropic、Cohere、Meta 和 Mistral AI。要使用任何受支持提供商的基础模型，请确保通过 AWS 控制台在 Amazon Bedrock 中启用它们。进入 Amazon Bedrock 并选择 Model Access，如下图所示：
点击 Model Access 并按照说明授予您希望使用的模型的访问权限，如下所示。确保根据每个模型的要求接受最终用户许可协议（EULA）。如果您没有权限这样做，可能需要您的系统管理员授予您账户访问权限。
如果您打算对文档使用检索增强生成（RAG），还应选择嵌入模型以及语言完成模型。
现在，您可以从聊天界面中的下拉菜单框标题 Completion model 中选择一个选定的 Bedrock 模型。如果将使用 RAG，则同样选择您从 Bedrock 模型中选择的嵌入模型。以下是这些选择的示例：
Bedrock 还允许从头开始训练自定义模型或从基础模型进行微调。Jupyter AI 通过其 arn（Amazon 资源名称）在聊天面板中调用自定义模型。与自定义模型一样，您也可以通过其 model id 或 arn 调用基础模型。以下是通过自定义模型界面使用其 model id 选择基础模型的示例：
以下是通过自定义模型界面使用其 arn 选择基础模型的示例：
要在 Amazon Bedrock 中训练自定义模型，请在 Bedrock 控制台中选择 Custom models，如下所示，然后您可以通过微调或继续预训练来定制基础模型：
有关从 Bedrock 微调基础模型的详细信息，请参阅此 参考; 相关 文档。
微调模型后，它将拥有自己的 arn，如下所示：
如上所示，您可以点击 Purchase provisioned throughput 购买推理单元，以调用自定义模型的 API。在 Jupyter AI 的语言模型用户界面中输入模型的 arn 以使用提供的模型。