ray.data.from_arrow_refs

ray.data.from_arrow_refs(tables: ObjectRef[pyarrow.Table | bytes] | List[ObjectRef[pyarrow.Table | bytes]]) → MaterializedDataset

从 Ray 对象引用列表创建一个 Dataset 到 PyArrow 表。

示例

>>> import pyarrow as pa
>>> import ray
>>> table_ref = ray.put(pa.table({"x": [1]}))
>>> ray.data.from_arrow_refs(table_ref)
MaterializedDataset(num_blocks=1, num_rows=1, schema={x: int64})

从 PyArrow 表引用列表创建 Ray 数据集

>>> ray.data.from_arrow_refs([table_ref, table_ref])
MaterializedDataset(num_blocks=2, num_rows=2, schema={x: int64})

参数:

tables – 一个指向 Arrow 表的 Ray 对象引用，或指向 Arrow 表的 Ray 对象引用列表，或其字节流格式。

返回:

Dataset 持有从表中读取的数据。

开发者API: 此API可能会在Ray的次要版本之间发生变化。