如何从LLM流式传输响应
所有LLM都实现了Runnable接口，该接口带有标准可运行方法的默认实现（即ainvoke、batch、abatch、stream、astream、astream_events）。
默认的流式实现提供了一个Iterator（或用于异步流式的AsyncIterator），它生成一个单一的值：来自底层聊天模型提供者的最终输出。
逐令牌流式传输输出的能力取决于提供商是否实现了适当的流式支持。
查看哪些集成支持逐令牌流式传输。
note
默认实现不提供逐令牌流式传输的支持，但它确保模型可以替换为任何其他模型，因为它支持相同的标准接口。
同步流
下面我们使用一个|来帮助可视化标记之间的分隔符。
from langchain_openai import OpenAI
llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
for chunk in llm.stream("Write me a 1 verse song about sparkling water."):
print(chunk, end="|", flush=True)
API Reference:OpenAI
|Spark|ling| water|,| oh| so clear|
|Bubbles dancing|,| without| fear|
|Refreshing| taste|,| a| pure| delight|
|Spark|ling| water|,| my| thirst|'s| delight||
异步流
让我们看看如何在异步设置中使用 astream 进行流式处理。
from langchain_openai import OpenAI
llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
async for chunk in llm.astream("Write me a 1 verse song about sparkling water."):
print(chunk, end="|", flush=True)
API Reference:OpenAI
|Spark|ling| water|,| oh| so clear|
|Bubbles dancing|,| without| fear|
|Refreshing| taste|,| a| pure| delight|
|Spark|ling| water|,| my| thirst|'s| delight||
异步事件流
LLMs 还支持标准的 astream events 方法。
tip
astream_events 在实现包含多个步骤的较大型LLM应用中的流式处理时最为有用（例如，涉及agent的应用）。
from langchain_openai import OpenAI
llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
idx = 0
async for event in llm.astream_events(
"Write me a 1 verse song about goldfish on the moon", version="v1"
):
idx += 1
if idx >= 5: # Truncate the output
print("...Truncated")
break
print(event)
API Reference:OpenAI