ray.data.from_arrow

ray.data.from_arrow(tables: pyarrow.Table | bytes | List[pyarrow.Table | bytes]) → MaterializedDataset

从 PyArrow 表的列表创建一个 Dataset。

示例

>>> import pyarrow as pa
>>> import ray
>>> table = pa.table({"x": [1]})
>>> ray.data.from_arrow(table)
MaterializedDataset(num_blocks=1, num_rows=1, schema={x: int64})

从 PyArrow 表的列表创建一个 Ray 数据集。

>>> ray.data.from_arrow([table, table])
MaterializedDataset(num_blocks=2, num_rows=2, schema={x: int64})

参数:

tables – 一个 PyArrow 表，或一个 PyArrow 表的列表，或其字节流格式。

返回:

Dataset 持有来自 PyArrow 表的数据。