=== "CLI"

    ```bash
    # 使用指定图像大小的YOLO-World模型跟踪视频
    yolo track model=yolov8s-world.pt imgsz=640 source="path/to/video/file.mp4"
    ```

!!! note

    Ultralytics提供的YOLO-World模型预先配置了[COCO数据集](../datasets/detect/coco.md)类别作为其离线词汇的一部分，增强了即时应用的效率。这种集成使得YOLOv8-World模型能够直接识别和预测COCO数据集中定义的80个标准类别，而无需额外的设置或定制。

### 设置提示

![YOLO-World提示类名概览](https://github.com/ultralytics/docs/releases/download/0/yolo-world-prompt-class-names-overview.avif)

YOLO-World框架允许通过自定义提示动态指定类别，使用户能够根据特定需求定制模型**而无需重新训练**。此功能对于将模型适应于新领域或特定任务特别有用，这些任务原本不属于[训练数据](https://www.ultralytics.com/glossary/training-data)的一部分。通过设置自定义提示，用户可以实质上引导模型关注感兴趣的对象，增强检测结果的相关性和准确性。

例如，如果您的应用只需要检测'person'和'bus'对象，您可以直接指定这些类别：

!!! example

    === "自定义推理提示"

        ```python
        from ultralytics import YOLO

        # 初始化一个YOLO-World模型
        model = YOLO("yolov8s-world.pt")  # 或选择yolov8m/l-world.pt

        # 定义自定义类别
        model.set_classes(["person", "bus"])

        # 对指定类别的图像执行预测
        results = model.predict("path/to/image.jpg")

        # 显示结果
        results[0].show()
        ```

您还可以在设置自定义类别后保存模型。通过这样做，您创建了一个专门用于特定用例的YOLO-World模型版本。此过程将您的自定义类别定义直接嵌入到模型文件中，使模型准备好使用您指定的类别而无需进一步调整。按照以下步骤保存和加载您的自定义YOLOv8模型：

!!! example

    === "使用自定义词汇持久化模型"

        首先加载一个YOLO-World模型，为其设置自定义类别并保存：

        ```python
        from ultralytics import YOLO

        # 初始化一个YOLO-World模型
        model = YOLO("yolov8s-world.pt")  # 或选择yolov8m/l-world.pt

        # 定义自定义类别
        model.set_classes(["person", "bus"])

        # 保存带有定义的离线词汇的模型
        model.save("custom_yolov8s.pt")
        ```

        保存后，custom_yolov8s.pt模型就像任何其他预训练的YOLOv8模型一样，但有一个关键区别：它现在优化为仅检测您定义的类别。这种定制可以显著提高特定应用场景的检测性能和效率。

        ```python
        from ultralytics import YOLO

        # 加载您的自定义模型
        model = YOLO("custom_yolov8s.pt")

        # 运行推理以检测您的自定义类别
        results = model.predict("path/to/image.jpg")

        # 显示结果
        results[0].show()
        ```

### 使用自定义词汇保存的好处

- **效率**：通过专注于相关对象来简化检测过程，减少计算开销并加快推理速度。
- **灵活性**：允许轻松适应新或小众检测任务，而无需广泛的重新训练或数据收集。
- **简单性**：通过消除在运行时重复指定自定义类别的需要，简化了部署，使模型可以直接使用其嵌入的词汇。
- **性能**：通过将模型的注意力集中在定义的对象上，增强了指定类别的检测[准确性](https://www.ultralytics.com/glossary/accuracy)。

这种方法为定制最先进的对象检测模型以适应特定任务提供了强大的手段，使高级AI更易于访问并适用于更广泛的实际应用。

## 从头开始复现官方结果（实验性）

### 准备数据集

- 训练数据

| 数据集                                                           | 类型      | 样本 | 框 | 注释文件                                                                                                                           |
| ----------------------------------------------------------------- | --------- | ------- | ----- | ------------------------------------------------------------------------------------------------------------------------------------------ |
| [Objects365v1](https://opendatalab.com/OpenDataLab/Objects365_v1) | 检测      | 609k    | 9621k | [objects365_train.json](https://opendatalab.com/OpenDataLab/Objects365_v1)                                                                 |
| [GQA](https://downloads.cs.stanford.edu/nlp/data/gqa/images.zip)  | 定位      | 621k    | 3681k | [final_mixed_train_no_coco.json](https://huggingface.co/GLIPModel/GLIP/blob/main/mdetr_annotations/final_mixed_train_no_coco.json)         |
| [Flickr30k](https://shannon.cs.illinois.edu/DenotationGraph/)     | 定位      | 149k    | 641k  | [final_flickr_separateGT_train.json](https://huggingface.co/GLIPModel/GLIP/blob/main/mdetr_annotations/final_flickr_separateGT_train.json) |

- 验证数据

| 数据集                                                                                                   | 类型      | 标注文件                                                                                               |
| ------------------------------------------------------------------------------------------------------- | --------- | ------------------------------------------------------------------------------------------------------ |
| [LVIS minival](https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/lvis.yaml) | 检测      | [minival.txt](https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/lvis.yaml) |

### 从头开始启动训练

!!! note

    `WorldTrainerFromScratch` 高度定制化，允许同时在检测数据集和定位数据集上训练 yolo-world 模型。更多详情请查看 [ultralytics.model.yolo.world.train_world.py](https://github.com/ultralytics/ultralytics/blob/main/ultralytics/models/yolo/world/train_world.py)。

!!! example

    === "Python"

        ```python
        from ultralytics import YOLOWorld
        from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

        data = dict(
            train=dict(
                yolo_data=["Objects365.yaml"],
                grounding_data=[
                    dict(
                        img_path="../datasets/flickr30k/images",
                        json_file="../datasets/flickr30k/final_flickr_separateGT_train.json",
                    ),
                    dict(
                        img_path="../datasets/GQA/images",
                        json_file="../datasets/GQA/final_mixed_train_no_coco.json",
                    ),
                ],
            ),
            val=dict(yolo_data=["lvis.yaml"]),
        )
        model = YOLOWorld("yolov8s-worldv2.yaml")
        model.train(data=data, batch=128, epochs=100, trainer=WorldTrainerFromScratch)
        ```

## 引用和致谢

我们感谢 [腾讯 AILab 计算机视觉中心](https://ai.tencent.com/) 在 YOLO-World 实时开放词汇对象检测方面的开创性工作：

!!! quote ""

    === "BibTeX"

        ```bibtex
        @article{cheng2024yolow,
        title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
        author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
        journal={arXiv preprint arXiv:2401.17270},
        year={2024}
        }
        ```

进一步阅读，原始的 YOLO-World 论文可在 [arXiv](https://arxiv.org/pdf/2401.17270v2.pdf) 上获取。项目的源代码和其他资源可通过他们的 [GitHub 仓库](https://github.com/AILab-CVC/YOLO-World) 访问。我们感谢他们对推动该领域发展并分享宝贵见解的承诺。

## 常见问题

### YOLO-World 模型是什么，它是如何工作的？

YOLO-World 模型是一种基于 [Ultralytics YOLOv8](yolov8.md) 框架的高级实时对象检测方法。它通过识别图像中的对象并基于描述性文本进行开放词汇检测任务。通过视觉语言建模和在大数据集上的预训练，YOLO-World 实现了高效率和性能，同时显著减少了计算需求，非常适合各种行业的实时应用。

### YOLO-World 如何处理带有自定义提示的推理？
YOLO-World 支持“先提示后检测”策略，利用离线词汇表来提高效率。自定义提示（如字幕或特定对象类别）会预先编码并存储为离线词汇表[嵌入](https://www.ultralytics.com/glossary/embeddings)。这种方法简化了检测过程，无需重新训练。您可以在模型中动态设置这些提示，以针对特定检测任务进行定制，如下所示：

```python
from ultralytics import YOLOWorld

# 初始化一个 YOLO-World 模型
model = YOLOWorld("yolov8s-world.pt")

# 定义自定义类别
model.set_classes(["person", "bus"])

# 对图像执行预测
results = model.predict("path/to/image.jpg")

# 显示结果
results[0].show()

from ultralytics import YOLOWorld

# 加载预训练的 YOLOv8s-worldv2 模型
model = YOLOWorld("yolov8s-worldv2.pt")

# 在 COCO8 数据集上训练模型 100 个周期
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

yolo train model=yolov8s-worldv2.yaml data=coco8.yaml epochs=100 imgsz=640

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "../datasets/flickr30k/images",
                "json_file": "../datasets/flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "../datasets/GQA/images",
                "json_file": "../datasets/GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(data=data, batch=128, epochs=100, trainer=WorldTrainerFromScratch)