跳到主要内容

视频相似度搜索

本教程演示如何使用开源向量数据库 Milvus 构建一个视频相似度搜索系统。

本教程使用的机器学习模型和第三方软件包括:

  • OpenCV
  • ResNet-50
  • MySQL
  • Towhee

如今,观看电影或视频后,人们可以轻松地截取屏幕截图,并通过在各种社交平台上发布来分享他们的想法。当粉丝们看到这些截图时,如果帖子中没有明确标出电影名称,要想知道是哪部电影可能会很困难。为了找出电影的名称,人们可以利用视频相似度搜索系统。通过使用该系统,用户可以上传一张图片,然后获取包含与上传图片相似的关键帧的视频或电影。


在本教程中,您将学习如何构建一个视频相似度搜索系统。本教程使用大约 100 个 Tumblr 上的动态 GIF 来构建系统。但是,您也可以准备自己的视频数据集。系统首先使用 OpenCV 从视频中提取关键帧,然后使用 ResNet-50 获取每个关键帧的特征向量。所有向量都存储在 Milvus 中,并通过 Milvus 进行搜索,将返回相似向量的 ID。然后将这些 ID 映射到 MySQL 中存储的相应视频。


video_search video_search_demo