反模式：闭包捕获大型对象会损害性能

TLDR: 避免在远程函数或类中捕获大型对象的闭包，请改用对象存储。

当你定义一个 ray.remote 函数或类时，很容易在定义中无意中捕获大型（超过几 MB）对象。这可能导致性能缓慢甚至 OOM，因为 Ray 不是为处理非常大的序列化函数或类而设计的。

对于如此大的对象，有两种方法来解决这个问题：

• 使用 ray.put() 将大型对象放入 Ray 对象存储中，然后将对象引用作为参数传递给远程函数或类（“更好的方法 #1” 如下）

• 通过传递一个lambda方法（“更好的方法#2”）在远程函数或类中创建大型对象。这也是使用不可序列化对象的唯一选项。

代码示例

反模式：

import ray
import numpy as np

ray.init()

large_object = np.zeros(10 * 1024 * 1024)


@ray.remote
def f1():
    return len(large_object)  # large_object is serialized along with f1!


ray.get(f1.remote())

更好的方法 #1:

large_object_ref = ray.put(np.zeros(10 * 1024 * 1024))


@ray.remote
def f2(large_object):
    return len(large_object)


# Large object is passed through object store.
ray.get(f2.remote(large_object_ref))

更好的方法 #2:

large_object_creator = lambda: np.zeros(10 * 1024 * 1024)  # noqa E731


@ray.remote
def f3():
    large_object = (
        large_object_creator()
    )  # Lambda is small compared with the large object.
    return len(large_object)


ray.get(f3.remote())