常见问题解答

faq

以下是常见问题和遇到的常见问题的列表。

问题

推荐使用哪些模型？

回答

请参阅模型指南。

问题

跟踪 embeddings.index 调用进度的最佳方法是什么？

回答

使用 tqdm 包装传递给 index 调用的列表或生成器。更多信息请参见 #478。

问题

分析 txtai 索引内容的最佳方法是什么？

回答

txtai 有一个控制台应用程序，可以轻松实现这一点。阅读这篇文章了解更多。

问题

如何外部加载模型并传递给 embeddings 和 pipelines？

回答

Embeddings 示例。

from transformers import AutoModel, AutoTokenizer
from txtai import Embeddings

# 外部加载模型
model = AutoModel.from_pretrained("sentence-transformers/all-MiniLM-L6-v2")
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L6-v2")

# 传递给 embeddings 实例
embeddings = Embeddings(path=model, tokenizer=tokenizer)

LLM pipeline 示例。

import torch

from transformers import AutoModelForCausalLM, AutoTokenizer
from txtai import LLM

# 加载 Mistral-7B-OpenOrca
path = "Open-Orca/Mistral-7B-OpenOrca"
model = AutoModelForCausalLM.from_pretrained(
  path,
  torch_dtype=torch.bfloat16,
)
tokenizer = AutoTokenizer.from_pretrained(path)

llm = LLM((model, tokenizer))

常见问题

问题

Embeddings 查询错误如下：

SQLError: no such function: json_extract

解决方案

升级 Python 版本，因为当前版本不支持 SQLite 的 json_extract。

问题

在 macOS 上出现段错误和类似错误

解决方案

设置以下环境参数。

通过环境变量 export OMP_NUM_THREADS=1 禁用 OpenMP 线程
通过 export PYTORCH_MPS_DISABLE=1 禁用 PyTorch MPS 设备
通过 export LLAMA_NO_METAL=1 禁用 llama.cpp metal

问题

在 macOS 上运行 SQLite ANN 时出错

AttributeError: 'sqlite3.Connection' object has no attribute 'enable_load_extension'

解决方案

请参阅此说明了解如何解决此问题的选项。

问题

在 Google Colab 上运行 examples 笔记本时出现 ContextualVersionConflict 和/或包 METADATA 异常

解决方案

重启内核。有关此问题的更多信息，请参阅 #409。

问题

安装可选/额外依赖项（如 pipeline）时出错

解决方案

默认的 MacOS shell (zsh) 和 Windows PowerShell 需要对方括号进行转义

pip install 'txtai[pipeline]'