Skip to content

Explorer GUI

社区提示 ⚠️

截至 ultralytics>=8.3.10,Ultralytics Explorer的支持已被弃用。但别担心!您现在可以通过Ultralytics HUB访问类似甚至更强大的功能,这是一个直观的无代码平台,旨在简化您的工作流程。通过Ultralytics HUB,您可以继续轻松地探索、可视化和管理您的数据,而无需编写一行代码。请务必查看并利用其强大的功能!🚀

Explorer GUI 是一个使用 Ultralytics Explorer API 构建的游乐场。它允许您运行语义/向量相似性搜索、SQL查询,甚至使用由大语言模型(LLMs)驱动的Ask AI功能进行自然语言搜索。

Explorer Dashboard 截图 1



观看: Ultralytics Explorer Dashboard 概览

安装

pip install ultralytics[explorer]

Note

Ask AI 功能使用 OpenAI,因此首次运行 GUI 时会提示您设置 OpenAI 的 API 密钥。您可以这样设置 - yolo settings openai_api_key="..."

向量语义相似性搜索

语义搜索是一种用于查找与给定图像相似的图像的技术。它基于相似的图像将具有相似嵌入的想法。在用户界面中,您可以选择一个或多个图像,并搜索与它们相似的图像。当您想要查找与给定图像相似的图像或一组表现不如预期的图像时,这非常有用。

例如: 在这个 VOC 探索仪表板中,用户选择了几张飞机图像,如下所示:

Explorer Dashboard 截图 2

执行相似性搜索后,您应该会看到类似的结果:

Explorer Dashboard 截图 3

Ask AI

这允许您使用自然语言编写如何过滤您的数据集。您不必精通编写 SQL 查询。我们由 AI 驱动的查询生成器将在后台自动完成这项工作。例如 - 您可以说 - "给我展示 100 张正好有一个人和 2 只狗的图像。也可以有其他物体",它将在内部生成查询并显示这些结果。以下是当被要求 "展示 10 张正好有 5 个人的图像" 时的示例输出,您将看到类似这样的结果:

Explorer Dashboard 截图 4

注意:这使用大语言模型(LLMs)在后台工作,因此结果是概率性的,有时可能会出错

在您的 CV 数据集上运行 SQL 查询

您可以在您的数据集上运行 SQL 查询以进行过滤。如果您只提供 WHERE 子句,它也适用。示例 SQL 查询将仅显示至少有一个人和一只狗的图像:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer Dashboard 截图 5

这是一个使用 Explorer API 构建的演示。您可以使用 API 构建自己的探索性笔记本或脚本,以深入了解您的数据集。了解更多关于 Explorer API 的信息这里

常见问题

什么是 Ultralytics Explorer GUI,我如何安装它?

Ultralytics Explorer GUI 是一个强大的界面,使用 Ultralytics Explorer API 解锁高级数据探索功能。它允许您运行语义/向量相似性搜索、SQL 查询和使用由 大语言模型 (LLMs) 驱动的 Ask AI 功能进行自然语言查询。

要安装 Explorer GUI,您可以使用 pip:

pip install ultralytics[explorer]
注意:要使用 Ask AI 功能,您需要设置 OpenAI API 密钥:yolo settings openai_api_key="..."

Ultralytics Explorer GUI 中的语义搜索功能是如何工作的?

Ultralytics Explorer GUI 中的语义搜索功能允许您根据嵌入向量查找与给定图像相似的图像。这种技术对于识别和探索具有视觉相似性的图像非常有用。要使用此功能,请在用户界面中选择一张或多张图像,并执行相似图像的搜索。结果将显示与所选图像非常相似的图像,从而促进高效的数据集探索和异常检测

通过访问功能概述部分,了解更多关于语义搜索和其他功能的信息。

我可以在 Ultralytics Explorer GUI 中使用自然语言过滤数据集吗?

是的,借助由大型语言模型(LLMs)驱动的 Ask AI 功能,您可以使用自然语言查询来过滤您的数据集。您不需要精通 SQL。例如,您可以询问“显示有且只有一个人和两只狗的 100 张图像。也可以有其他物体,”AI 将在后台生成适当的查询以提供所需的结果。

查看自然语言查询的示例这里

如何使用 Ultralytics Explorer GUI 对数据集运行 SQL 查询?

Ultralytics Explorer GUI 允许您直接在数据集上运行 SQL 查询,以高效地过滤和管理数据。要运行查询,请导航到 GUI 中的 SQL 查询部分并编写您的查询。例如,要显示至少有一人和一只狗的图像,您可以使用:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

您也可以仅提供 WHERE 子句,使查询过程更加灵活。

更多详情,请参阅SQL 查询部分

使用 Ultralytics Explorer GUI 进行数据探索的好处是什么?

Ultralytics Explorer GUI 通过语义搜索、SQL 查询和通过 Ask AI 功能的自然语言交互等功能增强了数据探索。这些功能允许用户:

  • 高效地查找视觉上相似的图像。
  • 使用复杂的 SQL 查询过滤数据集。
  • 利用 AI 进行自然语言搜索,无需高级 SQL 专业知识。

这些功能使其成为开发人员、研究人员和数据科学家深入了解其数据集的多功能工具。

Explorer GUI 文档中探索更多关于这些功能的信息。


📅 Created 9 months ago ✏️ Updated 1 day ago

Comments