llamafile
让我们加载 llamafile 的 Embeddings 类。
设置
首先，有3个设置步骤：
- 下载一个llamafile。在这个笔记本中，我们使用
TinyLlama-1.1B-Chat-v1.0.Q5_K_M，但在HuggingFace上还有许多其他可用的。 - 使llamafile可执行。
- 以服务器模式启动llamafile。
你可以运行以下bash脚本来完成所有这些操作：
%%bash
# llamafile setup
# Step 1: Download a llamafile. The download may take several minutes.
wget -nv -nc https://huggingface.co/jartine/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile
# Step 2: Make the llamafile executable. Note: if you're on Windows, just append '.exe' to the filename.
chmod +x TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile
# Step 3: Start llamafile server in background. All the server logs will be written to 'tinyllama.log'.
# Alternatively, you can just open a separate terminal outside this notebook and run:
# ./TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile --server --nobrowser --embedding
./TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile --server --nobrowser --embedding > tinyllama.log 2>&1 &
pid=$!
echo "${pid}" > .llamafile_pid # write the process pid to a file so we can terminate the server later
使用LlamafileEmbeddings嵌入文本
现在，我们可以使用LlamafileEmbeddings类与当前在http://localhost:8080上提供TinyLlama模型的llamafile服务器进行交互。
from langchain_community.embeddings import LlamafileEmbeddings
API Reference:LlamafileEmbeddings
embedder = LlamafileEmbeddings()
text = "This is a test document."
要生成嵌入，您可以查询单个文本，也可以查询文本列表。
query_result = embedder.embed_query(text)
query_result[:5]
doc_result = embedder.embed_documents([text])
doc_result[0][:5]
%%bash
# cleanup: kill the llamafile server process
kill $(cat .llamafile_pid)
rm .llamafile_pid