文本嵌入推断¶
本笔记本演示了如何配置TextEmbeddingInference
嵌入。
第一步是部署嵌入服务器。有关详细说明,请参阅Text Embeddings Inference官方存储库。
部署完成后,下面的代码将连接并提交嵌入以进行推断。
如果您在colab上打开这个笔记本,您可能需要安装LlamaIndex 🦙。
In [ ]:
Copied!
%pip install llama-index-embeddings-text-embeddings-inference
%pip install llama-index-embeddings-text-embeddings-inference
In [ ]:
Copied!
!pip install llama-index
!pip install llama-index
In [ ]:
Copied!
# from llama_index.embeddings.text_embeddings_inference import TextEmbeddingsInference# 创建TextEmbeddingsInference对象embed_model = TextEmbeddingsInference( model_name="BAAI/bge-large-en-v1.5", # 用于格式化推断文本的必需参数 timeout=60, # 超时时间(秒) embed_batch_size=10, # 嵌入的批处理大小)
# from llama_index.embeddings.text_embeddings_inference import TextEmbeddingsInference# 创建TextEmbeddingsInference对象embed_model = TextEmbeddingsInference( model_name="BAAI/bge-large-en-v1.5", # 用于格式化推断文本的必需参数 timeout=60, # 超时时间(秒) embed_batch_size=10, # 嵌入的批处理大小)
In [ ]:
Copied!
embeddings = embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])
embeddings = embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])
1024 [0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]
In [ ]:
Copied!
embeddings = await embed_model.aget_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])
embeddings = await embed_model.aget_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])
1024 [0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]