Numba for CUDA GPUs

• 概述
  • 术语
  • 编程模型
  • 要求
    • 支持的GPU
    • 软件
      • CUDA 绑定
      • 设置 CUDA 安装路径
  • 缺失的 CUDA 功能
• 编写 CUDA 内核
  • 介绍
  • 内核声明
  • 内核调用
    • 选择块大小
    • 多维块和网格
  • 线程定位
    • 绝对位置
    • 进一步阅读
• 内存管理
  • 数据传输
    • 设备数组
  • 固定内存
  • 映射内存
  • 托管内存
  • 流
  • 共享内存和线程同步
    • 动态共享内存
  • 本地内存
  • 常量内存
  • 释放行为
    • defer_cleanup()
• 编写设备函数
• CUDA Python 中支持的 Python 特性
  • 语言
    • 执行模型
    • 浮点错误模型
    • 构造
    • 递归
  • 内置类型
  • 内置函数
  • 标准库模块
    • cmath
    • math
    • operator
  • NumPy 支持
  • CFFI 支持
• CUDA 快速数学
• 支持的原子操作
  • 示例
• 协作组
  • 支持的功能
  • 使用网格组
  • 合作启动
    • _Kernel.max_cooperative_grid_blocks()
  • 应用程序和示例
• 随机数生成
  • 一个简单的例子
  • 管理RNG状态大小和使用3D网格的示例
• 设备管理
  • 设备选择
• 设备列表
  • numba.cuda.cudadrv.devices.gpus
• 设备 UUID
• 示例
  • 向量加法
  • 一维热方程
  • 共享内存减少
  • 将点击数据划分为会话
  • JIT 函数 CPU-GPU 兼容性
  • 蒙特卡罗积分
  • 矩阵乘法
  • 调用 NumPy UFunc
• 使用 CUDA 模拟器调试 CUDA Python
  • 使用模拟器
  • 支持的功能
• GPU 归约
  • Reduce 类
    • Reduce
      • Reduce.__init__()
      • Reduce.__call__()
• CUDA Ufuncs 和广义 Ufuncs
  • 示例：基本示例
  • 示例：调用设备功能
  • 广义 CUDA ufuncs
• 共享 CUDA 内存
  • 进程间共享
    • 将设备数组导出到另一个进程
      • IpcArrayHandle
        • IpcArrayHandle.close()
        • IpcArrayHandle.open()
    • 从另一个进程导入IPC内存
      • cuda.open_ipc_array()
• CUDA 数组接口 (版本 3)
  • Python 接口规范
    • 同步
      • 定义
      • 设计动机
      • 接口要求
      • Numba 中的同步
      • 在数组的非默认流上启动的示例
    • 生命周期管理
      • 数据
      • 流
    • Numba中的生命周期管理
      • 生成数组
      • 使用数组
        • cuda.as_cuda_array()
        • cuda.from_cuda_array_interface()
    • 指针属性
    • 与CUDA数组接口（版本0）的区别
    • 与CUDA数组接口（版本1）的区别
    • 与CUDA数组接口（版本2）的差异
    • 互操作性
• 外部内存管理 (EMM) 插件接口
  • 外部内存管理概述
    • 释放策略的影响
    • 其他对象的管理
    • 异步分配与释放
  • 实现一个EMM插件
    • BaseCUDAMemoryManager
      • BaseCUDAMemoryManager.memalloc()
      • BaseCUDAMemoryManager.memhostalloc()
      • BaseCUDAMemoryManager.mempin()
      • BaseCUDAMemoryManager.initialize()
      • BaseCUDAMemoryManager.get_ipc_handle()
      • BaseCUDAMemoryManager.get_memory_info()
      • BaseCUDAMemoryManager.reset()
      • BaseCUDAMemoryManager.defer_cleanup()
      • BaseCUDAMemoryManager.interface_version
    • 主机专用 CUDA 内存管理器
      • HostOnlyCUDAMemoryManager
        • HostOnlyCUDAMemoryManager.memhostalloc()
        • HostOnlyCUDAMemoryManager.mempin()
        • HostOnlyCUDAMemoryManager.reset()
        • HostOnlyCUDAMemoryManager.defer_cleanup()
    • IPC 句柄混合
      • GetIpcHandleMixin
        • GetIpcHandleMixin.get_ipc_handle()
  • 返回对象的类和结构
    • 内存指针
      • MemoryPointer
      • AutoFreePointer
      • MappedMemory
      • PinnedMemory
    • 内存信息
      • MemoryInfo
        • MemoryInfo.free
        • MemoryInfo.total
    • IPC
      • IpcHandle
  • 设置EMM插件
    • 环境变量
    • 函数
      • set_memory_manager()
      • 重置内存管理器
• CUDA 绑定
  • 每个线程的默认流
  • 路线图
• 从Python内核调用外部函数
  • 设备功能 ABI
  • Python 中的声明
    • declare_device()
  • 传递指针
  • 链接和调用函数
  • C/C++ 支持
  • 完整示例
• 为与其他语言一起使用而编译Python函数
  • 使用 C ABI
  • C 和 Numba ABI 示例
• 磁盘内核缓存
  • 计算能力考虑
• CUDA 次要版本兼容性
  • 安装
    • CUDA 12
    • CUDA 11
  • 启用MVC支持
  • 参考文献
• CUDA 常见问题解答
  • nvprof 报告 “没有内核被分析”