共享 CUDA 内存

进程间共享

进程间共享是通过使用 Legacy CUDA IPC API(函数名以 cuIpc 开头的函数)实现的,并且仅在 Linux 上支持。

将设备数组导出到另一个进程

可以使用 CUDA IPC API 在同一台机器上的另一个进程中共享设备数组。为此,请在设备数组上使用 .get_ipc_handle() 方法以获取一个 IpcArrayHandle 对象,该对象可以传输到另一个进程。

DeviceNDArray.get_ipc_handle()

返回一个可以安全序列化并传输到另一个进程以共享本地分配的 IpcArrayHandle 对象。

注意:此功能仅在Linux上可用。

class numba.cuda.cudadrv.devicearray.IpcArrayHandle(ipc_handle, array_desc)[源代码]

一个可以序列化并在同一台机器上的另一个进程中传输的IPC数组句柄,用于共享GPU分配。

在目标进程中,使用 .open() 方法创建一个新的 DeviceNDArray 对象,该对象共享原始进程中的分配。要释放资源,请调用 .close() 方法。之后,目标进程不能再使用共享数组对象。(注意:底层资源对应的弱引用现在已失效。)

此对象实现了上下文管理器接口,该接口会自动调用 .open().close() 方法:

with the_ipc_array_handle as ipc_array:
    # use ipc_array here as a normal gpu array object
    some_code(ipc_array)
# ipc_array is dead at this point
close()[源代码]

关闭数组的IPC句柄。

open()[源代码]

返回一个新的 DeviceNDArray,它与原始进程共享分配。不得在原始进程上使用。

从另一个进程导入IPC内存

以下函数用于将另一个进程中的IPC句柄作为设备数组打开。

cuda.open_ipc_array(shape, dtype, strides=None, offset=0)

一个上下文管理器,打开一个IPC 句柄*(*CUipcMemHandle),该句柄表示为字节序列(例如*字节*,整数元组),并将其表示为具有给定*形状*、步幅*和*数据类型*的数组。可以省略*步幅。在这种情况下,假设它是一个1D C连续数组。

生成一个设备数组。

当上下文管理器退出时,IPC句柄会自动关闭。