LLM 输入

vllm.inputs.PromptType

Union[str, TextPrompt, TokensPrompt, ExplicitEncoderDecoderPrompt] 的别名

class vllm.inputs.TextPrompt

基类：TypedDict

文本提示的架构。

prompt: str

在传递给模型之前需要进行分词的输入文本。

multi_modal_data: NotRequired[MultiModalDataDict]

可选的多模态数据，如果模型支持的话，可以传递给模型。

mm_processor_kwargs: NotRequired[Dict[str, Any]]

可选的多模态处理器关键字参数，将被转发到多模态输入映射器和处理器。请注意，如果多个模态为正在考虑的模型注册了映射器等，我们会尝试将 mm_processor_kwargs 传递给每一个。

class vllm.inputs.TokensPrompt

基类：TypedDict

分词提示的架构。

prompt_token_ids: List[int]

要传递给模型的令牌ID列表。

multi_modal_data: NotRequired[MultiModalDataDict]

可选的多模态数据，如果模型支持的话，可以传递给模型。

mm_processor_kwargs: NotRequired[Dict[str, Any]]

可选的多模态处理器关键字参数，将被转发到多模态输入映射器和处理器。请注意，如果多个模态为正在考虑的模型注册了映射器等，我们会尝试将 mm_processor_kwargs 传递给每一个。