Deeplake

DeepLakeReader

Bases: BaseReader

深湖阅读器。

从现有的深湖数据集中检索文档。

Parameters:

Name	Type	Description	Default
dataset_name		深湖数据集的名称。	required

Source code in llama_index/readers/deeplake/base.py

class DeepLakeReader(BaseReader):
    """深湖阅读器。

    从现有的深湖数据集中检索文档。

    Args:
        dataset_name: 深湖数据集的名称。"""

    def __init__(
        self,
        token: Optional[str] = None,
    ):
        """初始化deepLake阅读器。"""
        import_err_msg = (
            "`deeplake` package not found, please run `pip install deeplake`"
        )
        try:
            import deeplake  # noqa
        except ImportError:
            raise ImportError(import_err_msg)
        self.token = token

    def load_data(
        self,
        query_vector: List[float],
        dataset_path: str,
        limit: int = 4,
        distance_metric: str = "l2",
    ) -> List[Document]:
        """从DeepLake加载数据。

Args:
    dataset_name (str): DeepLake数据集的名称。
    query_vector (List[float]): 查询向量。
    limit (int): 返回结果的数量。

Returns:
    List[Document]: 文档列表。
"""
        import deeplake
        from deeplake.util.exceptions import TensorDoesNotExistError

        dataset = deeplake.load(dataset_path, token=self.token)

        try:
            embeddings = dataset.embedding.numpy(fetch_chunks=True)
        except Exception:
            raise TensorDoesNotExistError("embedding")

        indices = vector_search(
            query_vector, embeddings, distance_metric=distance_metric, limit=limit
        )

        documents = []
        for idx in indices:
            document = Document(
                text=str(dataset[idx].text.numpy().tolist()[0]),
                id_=dataset[idx].ids.numpy().tolist()[0],
            )

            documents.append(document)

        return documents

load_data

load_data(
    query_vector: List[float],
    dataset_path: str,
    limit: int = 4,
    distance_metric: str = "l2",
) -> List[Document]

从DeepLake加载数据。

Parameters:

Name	Type	Description	Default
dataset_name	str	DeepLake数据集的名称。	required
query_vector	List[float]	查询向量。	required
limit	int	返回结果的数量。	4

Returns:

Type	Description
List[Document]	List[Document]: 文档列表。

Source code in llama_index/readers/deeplake/base.py

    def load_data(
        self,
        query_vector: List[float],
        dataset_path: str,
        limit: int = 4,
        distance_metric: str = "l2",
    ) -> List[Document]:
        """从DeepLake加载数据。

Args:
    dataset_name (str): DeepLake数据集的名称。
    query_vector (List[float]): 查询向量。
    limit (int): 返回结果的数量。

Returns:
    List[Document]: 文档列表。
"""
        import deeplake
        from deeplake.util.exceptions import TensorDoesNotExistError

        dataset = deeplake.load(dataset_path, token=self.token)

        try:
            embeddings = dataset.embedding.numpy(fetch_chunks=True)
        except Exception:
            raise TensorDoesNotExistError("embedding")

        indices = vector_search(
            query_vector, embeddings, distance_metric=distance_metric, limit=limit
        )

        documents = []
        for idx in indices:
            document = Document(
                text=str(dataset[idx].text.numpy().tolist()[0]),
                id_=dataset[idx].ids.numpy().tolist()[0],
            )

            documents.append(document)

        return documents