Tensorflow数据集

class langchain_community.utilities.tensorflow_datasets.TensorflowDatasets

基础类：BaseModel

访问TensorFlow数据集。

当前的实现只能处理适合内存的数据集。

TensorFlow Datasets 是一个现成的数据集集合，可以与 TensorFlow 或其他 Python 机器学习框架（如 Jax）一起使用。所有数据集都以 tf.data.Datasets 的形式提供。 要开始使用，请参阅指南：https://www.tensorflow.org/datasets/overview 和数据集列表：https://www.tensorflow.org/datasets/catalog/

概览#所有数据集

You have to provide the sample_to_document_function: a function that

从数据集特定格式到文档的示例。

dataset_name

要加载的数据集的名称

split_name

要加载的拆分的名称。默认为“train”。

load_max_docs

加载文档数量的限制。默认为100。

sample_to_document_function

一个将数据集样本转换为文档的函数

示例

from langchain_community.utilities import TensorflowDatasets

def mlqaen_example_to_document(example: dict) -> Document:
    return Document(
        page_content=decode_to_str(example["context"]),
        metadata={
            "id": decode_to_str(example["id"]),
            "title": decode_to_str(example["title"]),
            "question": decode_to_str(example["question"]),
            "answer": decode_to_str(example["answers"]["text"][0]),
        },
    )

tsds_client = TensorflowDatasets(
        dataset_name="mlqa/en",
        split_name="train",
        load_max_docs=MAX_DOCS,
        sample_to_document_function=mlqaen_example_to_document,
    )

通过解析和验证来自关键字参数的输入数据来创建一个新模型。

如果输入数据无法验证以形成有效模型，则引发 [ValidationError][pydantic_core.ValidationError]。

self 被显式地设为仅位置参数，以允许 self 作为字段名称。

param dataset_name: str = ''

param load_max_docs: int = 100

param sample_to_document_function: Callable[[Dict], Document] | None = None

param split_name: str = 'train'

lazy_load() → Iterator[Document]

懒加载下载选定的数据集。

返回：文档的迭代器。

Return type:

迭代器[文档]

load() → List[Document]

下载选定的数据集。

返回：一个文档列表。

Return type:

列表[文档]