Txtai

TxtaiReader

Bases: BaseReader

txtai阅读器。

通过现有的内存中的txtai索引检索文档。 然后可以在下游的LlamaIndex数据结构中使用这些文档。 如果您希望使用txtai本身作为索引来组织文档、插入文档并对其执行查询， 请使用带有TxtaiVectorStore的VectorStoreIndex。

Source code in llama_index/readers/txtai/base.py

class TxtaiReader(BaseReader):
    """txtai阅读器。

    通过现有的内存中的txtai索引检索文档。
    然后可以在下游的LlamaIndex数据结构中使用这些文档。
    如果您希望使用txtai本身作为索引来组织文档、插入文档并对其执行查询，
    请使用带有TxtaiVectorStore的VectorStoreIndex。

    Args:
        txtai_index（txtai.ann.ANN）：txtai索引对象（必填）"""

    def __init__(self, index: Any):
        """使用参数进行初始化。"""
        import_err_msg = """
            `txtai` package not found. For instructions on
            how to install `txtai` please visit
            https://neuml.github.io/txtai/install/
        """
        try:
            import txtai  # noqa
        except ImportError:
            raise ImportError(import_err_msg)

        self._index = index

    def load_data(
        self,
        query: np.ndarray,
        id_to_text_map: Dict[str, str],
        k: int = 4,
        separate_documents: bool = True,
    ) -> List[Document]:
        """从txtai索引中加载数据。

Args:
    query (np.ndarray): 一个包含查询向量的二维numpy数组。
    id_to_text_map (Dict[str, str]): 从ID到文本的映射。
    k (int): 要检索的最近邻居的数量。默认为4。
    separate_documents (Optional[bool]): 是否返回单独的文档。默认为True。

Returns:
    List[Document]: 文档列表。
"""
        search_result = self._index.search(query, k)
        documents = []
        for query_result in search_result:
            for doc_id, _ in query_result:
                doc_id = str(doc_id)
                if doc_id not in id_to_text_map:
                    raise ValueError(
                        f"Document ID {doc_id} not found in id_to_text_map."
                    )
                text = id_to_text_map[doc_id]
                documents.append(Document(text=text))

        if not separate_documents:
            # join all documents into one
            text_list = [doc.get_content() for doc in documents]
            text = "\n\n".join(text_list)
            documents = [Document(text=text)]

        return documents

load_data

load_data(
    query: ndarray,
    id_to_text_map: Dict[str, str],
    k: int = 4,
    separate_documents: bool = True,
) -> List[Document]

从txtai索引中加载数据。

Parameters:

Name	Type	Description	Default
query	ndarray	一个包含查询向量的二维numpy数组。	required
id_to_text_map	Dict[str, str]	从ID到文本的映射。	required
k	int	要检索的最近邻居的数量。默认为4。	4
separate_documents	Optional[bool]	是否返回单独的文档。默认为True。	True

Returns:

Type	Description
List[Document]	List[Document]: 文档列表。

Source code in llama_index/readers/txtai/base.py

    def load_data(
        self,
        query: np.ndarray,
        id_to_text_map: Dict[str, str],
        k: int = 4,
        separate_documents: bool = True,
    ) -> List[Document]:
        """从txtai索引中加载数据。

Args:
    query (np.ndarray): 一个包含查询向量的二维numpy数组。
    id_to_text_map (Dict[str, str]): 从ID到文本的映射。
    k (int): 要检索的最近邻居的数量。默认为4。
    separate_documents (Optional[bool]): 是否返回单独的文档。默认为True。

Returns:
    List[Document]: 文档列表。
"""
        search_result = self._index.search(query, k)
        documents = []
        for query_result in search_result:
            for doc_id, _ in query_result:
                doc_id = str(doc_id)
                if doc_id not in id_to_text_map:
                    raise ValueError(
                        f"Document ID {doc_id} not found in id_to_text_map."
                    )
                text = id_to_text_map[doc_id]
                documents.append(Document(text=text))

        if not separate_documents:
            # join all documents into one
            text_list = [doc.get_content() for doc in documents]
            text = "\n\n".join(text_list)
            documents = [Document(text=text)]

        return documents