ChatBedrock

本文档将帮助您开始使用AWS Bedrock 聊天模型。Amazon Bedrock 是一项完全托管的服务，通过单一API提供来自领先AI公司（如AI21 Labs、Anthropic、Cohere、Meta、Stability AI和Amazon）的高性能基础模型（FMs），以及构建生成式AI应用所需的一系列功能，包括安全性、隐私性和负责任的AI。使用Amazon Bedrock，您可以轻松地为您的用例实验和评估顶级FMs，使用微调和检索增强生成（RAG）等技术私下使用您的数据定制它们，并构建使用您的企业系统和数据源执行任务的代理。由于Amazon Bedrock是无服务器的，您无需管理任何基础设施，并且可以使用您已经熟悉的AWS服务安全地集成和部署生成式AI功能到您的应用程序中。

有关可通过Bedrock访问的模型的更多信息，请前往AWS文档。

有关所有ChatBedrock功能和配置的详细文档，请前往API参考。

概述

集成详情

类	包	本地	可序列化	JS支持	包下载量	包最新版本
ChatBedrock	langchain-aws	❌	beta	✅

模型特性

工具调用	结构化输出	JSON模式	图像输入	音频输入	视频输入	令牌级流式传输	原生异步	令牌使用	Logprobs
✅	✅	❌	✅	❌	❌	✅	❌	✅	❌

设置

要访问Bedrock模型，您需要创建一个AWS账户，设置Bedrock API服务，获取访问密钥ID和密钥，并安装langchain-aws集成包。

凭证

前往AWS文档注册AWS并设置您的凭证。您还需要为您的账户启用模型访问权限，您可以按照这些说明进行操作。

如果你想获取模型调用的自动追踪，你也可以通过取消注释以下内容来设置你的LangSmith API密钥：

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

安装

LangChain Bedrock 集成位于 langchain-aws 包中：

%pip install -qU langchain-aws

实例化

现在我们可以实例化我们的模型对象并生成聊天完成：

from langchain_aws import ChatBedrock

llm = ChatBedrock(
    model_id="anthropic.claude-3-sonnet-20240229-v1:0",
    model_kwargs=dict(temperature=0),
    # other params...
)

API Reference:ChatBedrock

调用

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg

AIMessage(content="Voici la traduction en français :\n\nJ'aime la programmation.", additional_kwargs={'usage': {'prompt_tokens': 29, 'completion_tokens': 21, 'total_tokens': 50}, 'stop_reason': 'end_turn', 'model_id': 'anthropic.claude-3-sonnet-20240229-v1:0'}, response_metadata={'usage': {'prompt_tokens': 29, 'completion_tokens': 21, 'total_tokens': 50}, 'stop_reason': 'end_turn', 'model_id': 'anthropic.claude-3-sonnet-20240229-v1:0'}, id='run-fdb07dc3-ff72-430d-b22b-e7824b15c766-0', usage_metadata={'input_tokens': 29, 'output_tokens': 21, 'total_tokens': 50})

print(ai_msg.content)

Voici la traduction en français :

J'aime la programmation.

链式调用

我们可以链式我们的模型与一个提示模板，如下所示：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | llm
chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)

API Reference:ChatPromptTemplate

AIMessage(content='Ich liebe Programmieren.', additional_kwargs={'usage': {'prompt_tokens': 23, 'completion_tokens': 11, 'total_tokens': 34}, 'stop_reason': 'end_turn', 'model_id': 'anthropic.claude-3-sonnet-20240229-v1:0'}, response_metadata={'usage': {'prompt_tokens': 23, 'completion_tokens': 11, 'total_tokens': 34}, 'stop_reason': 'end_turn', 'model_id': 'anthropic.claude-3-sonnet-20240229-v1:0'}, id='run-5ad005ce-9f31-4670-baa0-9373d418698a-0', usage_metadata={'input_tokens': 23, 'output_tokens': 11, 'total_tokens': 34})

Bedrock Converse API

AWS最近发布了Bedrock Converse API，该API为Bedrock模型提供了一个统一的对话界面。此API目前还不支持自定义模型。您可以查看这里支持的所有模型列表。为了提高可靠性，一旦Bedrock Converse API与现有Bedrock API具有功能对等性，ChatBedrock集成将切换到使用Bedrock Converse API。在此之前，已经发布了一个单独的ChatBedrockConverse集成。

我们建议不需要使用自定义模型的用户使用ChatBedrockConverse。

你可以这样使用它：

from langchain_aws import ChatBedrockConverse

llm = ChatBedrockConverse(
    model="anthropic.claude-3-sonnet-20240229-v1:0",
    temperature=0,
    max_tokens=None,
    # other params...
)

llm.invoke(messages)

API Reference:ChatBedrockConverse

AIMessage(content="Voici la traduction en français :\n\nJ'aime la programmation.", response_metadata={'ResponseMetadata': {'RequestId': '4fcbfbe9-f916-4df2-b0bd-ea1147b550aa', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Wed, 21 Aug 2024 17:23:49 GMT', 'content-type': 'application/json', 'content-length': '243', 'connection': 'keep-alive', 'x-amzn-requestid': '4fcbfbe9-f916-4df2-b0bd-ea1147b550aa'}, 'RetryAttempts': 0}, 'stopReason': 'end_turn', 'metrics': {'latencyMs': 672}}, id='run-77ee9810-e32b-45dc-9ccb-6692253b1f45-0', usage_metadata={'input_tokens': 29, 'output_tokens': 21, 'total_tokens': 50})

流处理

请注意，ChatBedrockConverse 在流式传输时会发出内容块：

for chunk in llm.stream(messages):
    print(chunk)

content=[] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': 'Vo', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': 'ici', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': ' la', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': ' tra', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': 'duction', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': ' en', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': ' français', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': ' :', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': '\n\nJ', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': "'", 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': 'a', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': 'ime', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': ' la', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': ' programm', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': 'ation', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'type': 'text', 'text': '.', 'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[{'index': 0}] id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[] response_metadata={'stopReason': 'end_turn'} id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8'
content=[] response_metadata={'metrics': {'latencyMs': 713}} id='run-2c92c5af-d771-4cc2-98d9-c11bbd30a1d8' usage_metadata={'input_tokens': 29, 'output_tokens': 21, 'total_tokens': 50}

如果需要，可以使用输出解析器来过滤文本：

from langchain_core.output_parsers import StrOutputParser

chain = llm | StrOutputParser()

for chunk in chain.stream(messages):
    print(chunk, end="|")

API Reference:StrOutputParser

|Vo|ici| la| tra|duction| en| français| :|

J|'|a|ime| la| programm|ation|.||||

API参考

有关所有ChatBedrock功能和配置的详细文档，请参阅API参考：https://python.langchain.com/api_reference/aws/chat_models/langchain_aws.chat_models.bedrock.ChatBedrock.html

有关所有ChatBedrockConverse功能和配置的详细文档，请访问API参考：https://python.langchain.com/api_reference/aws/chat_models/langchain_aws.chat_models.bedrock_converse.ChatBedrockConverse.html

聊天模型概念指南
聊天模型操作指南

概述​

集成详情​

模型特性​

设置​

凭证​

安装​

实例化​

调用​

链式调用​

Bedrock Converse API​

流处理​

API参考​

相关​

这个页面有帮助吗？

概述

集成详情

模型特性

设置

凭证

安装

实例化

调用

链式调用

Bedrock Converse API

流处理

API参考

相关