输入处理管道#
输入数据被传递给
LLMEngine
(或AsyncLLMEngine
)。如有必要,对数据进行分词。
使用
INPUT_REGISTRY.process_input
处理输入。例如,添加占位符令牌以保留多模态嵌入的KV缓存。
将处理后的输入发送给
ExecutorBase
。通过
WorkerBase
将输入分发到ModelRunnerBase
。如果数据包含多模态数据,请使用
MULTIMODAL_REGISTRY.map_input
将其转换为关键字参数。例如,将
PIL.Image.Image
输入转换为其像素值以供视觉模型使用。