LineIterator

class langchain_aws.llms.sagemaker_endpoint.LineIterator(stream: Any)

用于解析字节流输入的辅助类。

模型的输出将采用以下格式：

b’{“outputs”: [” a”]}

‘

b’{“outputs”: [” 具有挑战性的”]}

‘

b’{“outputs”: [” 问题”]}

‘

…

虽然通常来自事件流的每个PayloadPart事件将包含一个完整的json字节数组，但这并不保证，一些json对象可能会在PayloadPart事件之间分割。

例如：

{‘PayloadPart’: {‘Bytes’: b’{“outputs”: ‘}} {‘PayloadPart’: {‘Bytes’: b’[” 问题”]}

‘}}

这个类通过连接通过‘write’函数写入的字节来解决这个问题，然后公开一个方法，该方法将返回以‘

‘ character)

通过‘scan_lines’函数在缓冲区内部进行操作。 它维护了最后读取位置的位置，以确保之前的字节不会再次暴露。

更多详情请参阅： https://aws.amazon.com/blogs/machine-learning/elevating-the-generative-ai-experience-introducing-streaming-support-in-amazon-sagemaker-hosting/

方法

__init__(stream)

Parameters:

stream (任意)

__init__(stream: Any) → None

Parameters:

stream (任意)

Return type:

无