添加一个多模态插件

添加一个多模态插件#

本文档教你如何向 vLLM 添加新模态。

vLLM 中的每个模态由一个 MultiModalPlugin 表示,并注册到 MULTIMODAL_REGISTRY。为了让 vLLM 识别新的模态类型,您必须创建一个新的插件,然后将其传递给 register_plugin()

本文档的其余部分详细说明了如何定义自定义 MultiModalPlugin

备注

本文正在撰写中。