理解YOLO11的部署选项

引言

您在YOLO11的旅程中已经走过了漫长的道路。您已经勤奋地收集了数据，精心地进行了标注，并投入了大量时间来训练和严格评估您的自定义YOLO11模型。现在，是时候让您的模型为您的特定应用、用例或项目工作了。但在您面前有一个关键的决定：如何有效地导出和部署您的模型。

本指南将带您了解YOLO11的部署选项以及选择适合您项目的正确选项时需要考虑的关键因素。

如何为您的YOLO11模型选择正确的部署选项

当您准备部署YOLO11模型时，选择合适的导出格式非常重要。正如Ultralytics YOLO11模式文档中所述，model.export()函数允许将您训练好的模型转换为多种格式，以适应不同的环境和性能需求。

理想的格式取决于您的模型预期的操作环境，需要在速度、硬件限制和集成便利性之间取得平衡。在接下来的部分中，我们将更详细地了解每个导出选项，了解何时选择每个选项。

YOLO11的部署选项

让我们逐一了解YOLO11的不同部署选项。有关导出过程的详细演练，请访问Ultralytics的导出文档页面。

PyTorch

PyTorch是一个广泛用于深度学习和人工智能应用的开源机器学习库。它提供了高度的灵活性和速度，这使其成为研究人员和开发者的最爱。

• 性能基准: PyTorch以其易用性和灵活性著称，但在与其他更专业和优化的框架相比时，可能会在原始性能上略有妥协。

• 兼容性和集成: 与Python中的各种数据科学和机器学习库具有出色的兼容性。

• 社区支持和生态系统: 拥有最活跃的社区之一，提供了丰富的学习资源和故障排除工具。

• 案例研究: 常用于研究原型，许多学术论文引用了在PyTorch中部署的模型。

• 维护和更新: 定期更新，积极开发和支持新功能。

• 安全考虑: 定期修复安全问题，但安全性在很大程度上取决于其部署的整体环境。

• 硬件加速: 支持CUDA用于GPU加速，这对于加快模型训练和推理至关重要。

TorchScript

TorchScript通过允许将模型导出到C++运行时环境中扩展了PyTorch的功能。这使其适用于Python不可用的生产环境。

• 性能基准: 在生产环境中，尤其是Python性能开销成为瓶颈时，可以提供比原生PyTorch更好的性能。

• 兼容性和集成: 设计用于从PyTorch无缝过渡到C++生产环境，尽管某些高级功能可能无法完美转换。

• 社区支持和生态系统: 受益于PyTorch的庞大社区，但具有更窄范围的专业开发者。

• 案例研究: 广泛用于工业环境中，Python的性能开销成为瓶颈。

• 维护和更新: 与PyTorch一起维护，定期更新。

• 安全考虑: 通过在无完整Python安装的环境中运行模型，提供改进的安全性。

• 硬件加速: 继承了PyTorch的CUDA支持，确保高效的GPU利用。

ONNX

开放神经网络交换（ONNX）是一种格式，允许模型在不同框架之间互操作，这在部署到各种平台时至关重要。

• 性能基准: ONNX模型的性能可能因部署的具体运行时而有所不同。

• 兼容性和集成: 由于其框架无关的特性，具有跨多个平台和硬件的高互操作性。

• 社区支持和生态系统: 受到许多组织的支持，形成了广泛的生态系统和各种优化工具。

• 案例研究: 常用于在不同机器学习框架之间移动模型，展示了其灵活性。

• 维护和更新: 作为一个开放标准，ONNX 定期更新以支持新的操作和模型。

• 安全考虑: 与任何跨平台工具一样，确保在转换和部署管道中采用安全实践至关重要。

• 硬件加速: 通过 ONNX Runtime，模型可以利用各种硬件优化。

OpenVINO

OpenVINO 是英特尔工具包，旨在促进深度学习模型在英特尔硬件上的部署，提升性能和速度。

• 性能基准: 专门针对英特尔 CPU、GPU 和 VPU 进行优化，在兼容硬件上提供显著的性能提升。

• 兼容性和集成: 在英特尔生态系统中表现最佳，但也支持一系列其他平台。

• 社区支持和生态系统: 由英特尔支持，拥有坚实的用户基础，特别是在计算机视觉领域。

• 案例研究: 常用于物联网和边缘计算场景，这些场景中英特尔硬件占主导地位。

• 维护和更新: 英特尔定期更新 OpenVINO，以支持最新的深度学习模型和英特尔硬件。

• 安全考虑: 提供适用于敏感应用部署的强大安全功能。

• 硬件加速: 专为英特尔硬件加速设计，利用专用指令集和硬件特性。

有关使用 OpenVINO 部署的更多详细信息，请参阅 Ultralytics 集成文档：Intel OpenVINO 导出。

TensorRT

TensorRT 是 NVIDIA 的高性能深度学习推理优化器和运行时，非常适合需要速度和效率的应用。

• 性能基准: 在 NVIDIA GPU 上提供顶级性能，支持高速推理。

• 兼容性和集成: 最适合 NVIDIA 硬件，在此环境外支持有限。

• 社区支持和生态系统: 通过 NVIDIA 的开发者论坛和文档提供强大的支持网络。

• 案例研究: 广泛应用于需要对视频和图像数据进行实时推理的行业。

• 维护和更新: NVIDIA 定期更新 TensorRT，以提升性能并支持新的 GPU 架构。

• 安全考虑: 与许多 NVIDIA 产品一样，它非常注重安全性，但具体取决于部署环境。

• 硬件加速: 专为 NVIDIA GPU 设计，提供深度优化和加速。

CoreML

CoreML 是苹果的机器学习框架，针对苹果生态系统（包括 iOS、macOS、watchOS 和 tvOS）中的设备性能进行了优化。

• 性能基准: 在苹果硬件上针对设备性能进行了优化，电池消耗最小。

• 兼容性和集成: 专为苹果生态系统设计，为 iOS 和 macOS 应用程序提供简化的工作流程。

• 社区支持和生态系统: 得到苹果和专注开发者社区的强大支持，拥有广泛的文档和工具。

• 案例研究: 常用于需要苹果产品上设备内机器学习能力的应用程序。

• 维护和更新: 苹果定期更新 CoreML，以支持最新的机器学习进展和苹果硬件。

• 安全考虑: 得益于苹果对用户隐私和数据安全的关注。

• 硬件加速: 充分利用苹果的神经引擎和 GPU 进行加速的机器学习任务。

TF SavedModel

TF SavedModel 是 TensorFlow 用于保存和服务机器学习模型的格式，特别适合可扩展的服务器环境。

• 性能基准: 在服务器环境中提供可扩展的性能，尤其是在与 TensorFlow Serving 一起使用时。

• 兼容性和集成: 在 TensorFlow 生态系统中广泛兼容，包括云和企业服务器部署。

• 社区支持和生态系统: 由于 TensorFlow 的流行，拥有庞大的社区支持，拥有大量用于部署和优化的工具。

• 案例研究: 广泛用于生产环境中，以大规模服务深度学习模型。

• 维护和更新: 由谷歌和 TensorFlow 社区支持，确保定期更新和新功能。

• 安全考虑: 使用 TensorFlow Serving 部署包括适用于企业级应用的强大安全功能。

• 硬件加速: 通过 TensorFlow 的后端支持各种硬件加速。

TF GraphDef

TF GraphDef 是一种 TensorFlow 格式，它将模型表示为图，这对于需要静态计算图的环境非常有利。

• 性能基准: 为静态计算图提供稳定的性能，注重一致性和可靠性。

• 兼容性和集成: 易于集成在 TensorFlow 的基础设施中，但相比 SavedModel 灵活性较低。

• 社区支持和生态系统: 得到 TensorFlow 生态系统的良好支持，有许多资源可用于优化静态图。

• 案例研究: 在需要静态图的场景中非常有用，例如某些嵌入式系统。

• 维护和更新: 与 TensorFlow 核心更新一起定期更新。

• 安全考虑: 确保通过 TensorFlow 的既定安全实践安全部署。

• 硬件加速: 可以利用 TensorFlow 的硬件加速选项，但不如 SavedModel 灵活。

TF Lite

TF Lite 是 TensorFlow 针对移动和嵌入式设备机器学习的解决方案，提供了一个轻量级的库用于设备上的推理。

• 性能基准: 专为移动和嵌入式设备的速度和效率设计。

• 兼容性和集成: 由于其轻量级特性，可以在广泛设备上使用。

• 社区支持和生态系统: 由 Google 支持，拥有强大的社区和越来越多的开发者资源。

• 案例研究: 在需要设备上推理且占用空间最小的移动应用中非常流行。

• 维护和更新: 定期更新，包含最新的移动设备功能和优化。

• 安全考虑: 为在终端用户设备上运行模型提供安全环境。

• 硬件加速: 支持多种硬件加速选项，包括 GPU 和 DSP。

TF Edge TPU

TF Edge TPU 专为 Google Edge TPU 硬件上的高速、高效计算设计，非常适合需要实时处理的物联网设备。

• 性能基准: 专门针对 Google Edge TPU 硬件上的高速、高效计算进行优化。

• 兼容性和集成: 仅适用于 Edge TPU 设备上的 TensorFlow Lite 模型。

• 社区支持和生态系统: 随着 Google 和第三方开发者提供的资源，支持不断增长。

• 案例研究: 用于需要低延迟实时处理的物联网设备和应用。

• 维护和更新: 不断改进以利用新的 Edge TPU 硬件版本的能力。

• 安全考虑: 与 Google 强大的物联网和边缘设备安全集成。

• 硬件加速: 专门设计以充分利用 Google Coral 设备。

TF.js

TensorFlow.js (TF.js) 是一个将机器学习能力直接带到浏览器的库，为网页开发者和用户提供了新的可能性。它允许在不需要后端基础设施的情况下将机器学习模型集成到网页应用中。

• 性能基准: 在浏览器中直接实现机器学习，性能合理，取决于客户端设备。

• 兼容性和集成: 与网页技术高度兼容，易于集成到网页应用中。

• 社区支持和生态系统: 得到网页和 Node.js 开发者社区的支持，有多种工具用于在浏览器中部署 ML 模型。

• 案例研究: 适用于从客户端机器学习中受益的交互式网页应用，无需服务器端处理。

• 维护和更新: 由 TensorFlow 团队维护，并得到开源社区的贡献。

• 安全考虑: 在浏览器的安全上下文中运行，利用网页平台的安全模型。

• 硬件加速: 性能可以通过访问硬件加速的网页 API（如 WebGL）得到增强。

PaddlePaddle

PaddlePaddle 是百度开发的开源深度学习框架。它旨在为研究人员提供高效，为开发者提供易用性。它在中国特别受欢迎，并提供对中文处理的专门支持。

• 性能基准: 提供有竞争力的性能，注重易用性和可扩展性。

• 兼容性和集成: 与百度的生态系统良好集成，支持广泛的应用。

• 社区支持和生态系统: 虽然全球社区较小，但在中国迅速增长。

• 案例研究: 在中国市场和寻找其他主要框架替代品的开发者中常用。

• 维护和更新: 定期更新，专注于服务中文语言 AI 应用和服务。

• 安全考虑: 强调数据隐私和安全性，符合中国数据治理标准。

• 硬件加速: 支持多种硬件加速，包括百度自有的昆仑芯片。

NCNN

NCNN 是一个为移动平台优化的高性能神经网络推理框架。它以其轻量级和高效率著称，特别适合资源有限的移动和嵌入式设备。

• 性能基准: 针对移动平台高度优化，在基于 ARM 的设备上提供高效的推理。

• 兼容性和集成: 适用于移动电话和嵌入式系统上的应用，这些系统采用 ARM 架构。

• 社区支持和生态系统: 由一个专注于移动和嵌入式机器学习应用的小众但活跃的社区支持。

• 案例研究: 在 Android 和其他基于 ARM 的系统上，效率和速度至关重要的移动应用中受到青睐。

• 维护和更新: 持续改进以保持在一系列 ARM 设备上的高性能。

• 安全考虑: 专注于在设备本地运行，利用设备上处理固有的安全性。

• 硬件加速: 针对 ARM CPU 和 GPU 定制，对这些架构进行了特定优化。

YOLO11 部署选项的比较分析

下表提供了 YOLO11 模型各种部署选项的快照，帮助您根据几个关键标准评估哪种选项最适合您的项目需求。有关每种部署选项格式的深入了解，请参阅 Ultralytics 关于导出格式的文档页面。

This comparative analysis gives you a high-level overview. For deployment, it's essential to consider the specific requirements and constraints of your project, and consult the detailed documentation and resources available for each option.

Community and Support

When you're getting started with YOLO11, having a helpful community and support can make a significant impact. Here's how to connect with others who share your interests and get the assistance you need.

Engage with the Broader Community

• GitHub Discussions: The YOLO11 repository on GitHub has a "Discussions" section where you can ask questions, report issues, and suggest improvements.

• Ultralytics Discord Server: Ultralytics has a Discord server where you can interact with other users and developers.

Official Documentation and Resources

• Ultralytics YOLO11 Docs: The official documentation provides a comprehensive overview of YOLO11, along with guides on installation, usage, and troubleshooting.

These resources will help you tackle challenges and stay updated on the latest trends and best practices in the YOLO11 community.

Conclusion

In this guide, we've explored the different deployment options for YOLO11. We've also discussed the important factors to consider when making your choice. These options allow you to customize your model for various environments and performance requirements, making it suitable for real-world applications.

Don't forget that the YOLO11 and Ultralytics community is a valuable source of help. Connect with other developers and experts to learn unique tips and solutions you might not find in regular documentation. Keep seeking knowledge, exploring new ideas, and sharing your experiences.

Happy deploying!

FAQ

What are the deployment options available for YOLO11 on different hardware platforms?

Ultralytics YOLO11 supports various deployment formats, each designed for specific environments and hardware platforms. Key formats include:

• PyTorch for research and prototyping, with excellent Python integration.
• TorchScript for production environments where Python is unavailable.
• ONNX for cross-platform compatibility and hardware acceleration.
• OpenVINO for optimized performance on Intel hardware.
• TensorRT for high-speed inference on NVIDIA GPUs.

Each format has unique advantages. For a detailed walkthrough, see our export process documentation.

How do I improve the inference speed of my YOLO11 model on an Intel CPU?

To enhance inference speed on Intel CPUs, you can deploy your YOLO11 model using Intel's OpenVINO toolkit. OpenVINO offers significant performance boosts by optimizing models to leverage Intel hardware efficiently.

1. 使用 model.export() 函数将您的 YOLO11 模型转换为 OpenVINO 格式。
2. 按照 Intel OpenVINO 导出文档 中的详细设置指南进行操作。

如需更多见解，请查看我们的 博客文章。

我可以在移动设备上部署 YOLO11 模型吗？

是的，YOLO11 模型可以使用 TensorFlow Lite (TF Lite) 部署在 Android 和 iOS 平台上。TF Lite 专为移动和嵌入式设备设计，提供高效的设备上推理。

# 导出为 TFLite 格式的命令
model.export(format="tflite")

# 导出为 TFLite 格式的 CLI 命令
yolo export --format tflite

有关在移动设备上部署模型的更多详细信息，请参阅我们的 TF Lite 集成指南。

在为我的 YOLO11 模型选择部署格式时，我应该考虑哪些因素？

在为 YOLO11 选择部署格式时，请考虑以下因素：

• 性能：某些格式如 TensorRT 在 NVIDIA GPU 上提供卓越的速度，而 OpenVINO 针对 Intel 硬件进行了优化。
• 兼容性：ONNX 在不同平台上提供广泛的兼容性。
• 集成便捷性：格式如 CoreML 或 TF Lite 分别针对 iOS 和 Android 生态系统进行了定制。
• 社区支持：格式如 PyTorch 和 TensorFlow 拥有广泛的社区资源和支持。

如需比较分析，请参阅我们的 导出格式文档。

如何在 Web 应用程序中部署 YOLO11 模型？

要在 Web 应用程序中部署 YOLO11 模型，您可以使用 TensorFlow.js (TF.js)，它允许在浏览器中直接运行 机器学习 模型。这种方法消除了对后端基础设施的需求，并提供实时性能。

1. 将 YOLO11 模型导出为 TF.js 格式。
2. 将导出的模型集成到您的 Web 应用程序中。

如需分步说明，请参阅我们的 TensorFlow.js 集成指南。

📅 Created 11 months ago ✏️ Updated 13 days ago

Comments