jax.ensure_compile_time_eval#
- jax.ensure_compile_time_eval()[源代码][源代码]#
上下文管理器以确保在跟踪/编译时进行评估(或错误)。
一些 JAX API,如
jax.jit()
和jax.lax.scan()
,涉及分阶段执行,即延迟数值表达式(如jax.numpy
函数应用)的评估,以便在评估相应的 Python 表达式时,不急于执行这些计算,而是在优化编译后单独执行。但这种延迟可能是不希望的。例如,数值可能需要用于评估 Python 控制流,因此它们的评估不能延迟。再比如,出于性能原因,确保编译时评估(或“常量折叠”)可能是有益的。此上下文管理器确保 JAX 计算被急切地评估。如果无法进行急切评估,则会引发
ConcretizationTypeError
。这是一个人为的例子:
import jax import jax.numpy as jnp @jax.jit def f(x): with jax.ensure_compile_time_eval(): y = jnp.sin(3.0) z = jnp.sin(y) z_positive = z > 0 if z_positive: # z_positive is usable in Python control flow return jnp.sin(x) else: return jnp.cos(x)
以下是来自 google/jax#3974 的一个实际例子:
import jax import jax.numpy as jnp from jax import random @jax.jit def jax_fn(x): with jax.ensure_compile_time_eval(): y = random.randint(random.key(0), (1000,1000), 0, 100) y2 = y @ y x2 = jnp.sum(y2) * x return x2
通过将常量表达式 ‘提升’ 出相应的分段 API,通常可以实现类似的行为:
y = random.randint(random.key(0), (1000,1000), 0, 100) @jax.jit def jax_fn(x): y2 = y @ y x2 = jnp.sum(y2)*x return x2
但在某些情况下,使用此上下文管理器可能更为方便。