堆栈、连接和块
内容
堆栈、连接和块¶
通常我们有许多存储在磁盘上的数组，我们希望将它们堆叠在一起，并将其视为一个大型数组。这在地理空间数据中很常见，我们可能在磁盘上有许多HDF5/NetCDF文件，每天一个，但我们希望进行跨越多天的操作。
为了解决这个问题，我们使用函数 da.stack、da.concatenate 和 da.block。
堆栈¶
我们将许多现有的 Dask 数组堆叠到一个新的数组中，创建一个新的维度。
>>> import dask.array as da
>>> arr0 = da.from_array(np.zeros((3, 4)), chunks=(1, 2))
>>> arr1 = da.from_array(np.ones((3, 4)), chunks=(1, 2))
>>> data = [arr0, arr1]
>>> x = da.stack(data, axis=0)
>>> x.shape
(2, 3, 4)
>>> da.stack(data, axis=1).shape
(3, 2, 4)
>>> da.stack(data, axis=-1).shape
(3, 4, 2)
这将创建一个长度等于切片数量的新维度
连接¶
我们将现有数组连接成一个新数组，沿现有维度扩展它们
>>> import dask.array as da
>>> import numpy as np
>>> arr0 = da.from_array(np.zeros((3, 4)), chunks=(1, 2))
>>> arr1 = da.from_array(np.ones((3, 4)), chunks=(1, 2))
>>> data = [arr0, arr1]
>>> x = da.concatenate(data, axis=0)
>>> x.shape
(6, 4)
>>> da.concatenate(data, axis=1).shape
(3, 8)
块¶
我们可以通过 da.block 处理更多种类的案例，因为它允许拼接同时应用于多个维度。如果你的块状数据平铺了一个空间，例如小正方形平铺了一个更大的二维平面，这将非常有用。
>>> import dask.array as da
>>> import numpy as np
>>> arr0 = da.from_array(np.zeros((3, 4)), chunks=(1, 2))
>>> arr1 = da.from_array(np.ones((3, 4)), chunks=(1, 2))
>>> data = [
... [arr0, arr1],
... [arr1, arr0]
... ]
>>> x = da.block(data)
>>> x.shape
(6, 8)