如果您在colab上打开这个笔记本,您可能需要安装LlamaIndex 🦙。
In [ ]:
Copied!
%pip install llama-index-embeddings-huggingface-openvino
%pip install llama-index-embeddings-huggingface-openvino
In [ ]:
Copied!
!pip install llama-index
!pip install llama-index
模型导出器¶
可以使用create_and_save_openvino_model
函数将模型导出为OpenVINO IR格式,并从本地文件夹加载模型。
In [ ]:
Copied!
from llama_index.embeddings.huggingface_openvino import OpenVINOEmbedding
OpenVINOEmbedding.create_and_save_openvino_model(
"BAAI/bge-small-en-v1.5", "./bge_ov"
)
from llama_index.embeddings.huggingface_openvino import OpenVINOEmbedding
OpenVINOEmbedding.create_and_save_openvino_model(
"BAAI/bge-small-en-v1.5", "./bge_ov"
)
模型加载¶
如果您有英特尔GPU,可以指定device="gpu"
来在其上运行推断。
In [ ]:
Copied!
ov_embed_model = OpenVINOEmbedding(folder_name="./bge_ov", device="cpu")
ov_embed_model = OpenVINOEmbedding(folder_name="./bge_ov", device="cpu")
In [ ]:
Copied!
embeddings = ov_embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])
embeddings = ov_embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])
有关更多信息,请参考: