环境缓存
ClearML 代理缓存虚拟环境,因此在多次运行实验时,无需花费时间重新安装预安装的包。要利用缓存的虚拟环境,请启用虚拟环境重用机制。
虚拟环境重用
虚拟环境重用功能可能会显著减少实验启动时间。
默认情况下,ClearML 使用包管理器的环境缓存。这意味着即使不需要安装新的包,检查包列表也可能需要很长时间。
ClearML 具有一个虚拟环境重用机制,当启用时,允许直接使用环境而无需解析已安装的包。这意味着在执行具有相同包依赖关系的多个实验时,将使用相同的环境。
note
使用Poetry包管理器时,ClearML不支持环境重用
要启用虚拟环境重用,请修改clearml.conf
文件并取消注释venvs_cache
部分。
venvs_cache: {
# maximum number of cached venvs
max_entries: 10
# minimum required free space to allow for cache entry, disable by passing 0 or negative value
free_space_threshold_gb: 2.0
# uncomment to enable virtual environment caching
# path: ~/.clearml/venvs-cache
},