Skip to main content

版本 0.17

ClearML 0.17.5​

功能

  • 添加 force_download 参数到 Artifact.get() 和 Artifact.get_local_copy() (clearml GitHub Issue 319).
  • 支持所有报告使用子进程而不是线程（默认 sdk.development.report_use_subprocess=True）。
  • 改进数据集支持：
    • 添加 clearml-data publish 以允许发布数据集任务。
    • 添加 clearml-data sync，现在可以通过单个命令创建、同步和关闭数据集。
    • 允许在运行的任务上创建数据集。
    • 向 Dataset.get() 添加 dataset_tags 参数。
    • 添加 Dataset.get_logger()。
  • 添加 Task.add_requirements() 支持指定版本 <>=~ 等。
  • 添加 StorageManager.upload_folder() 和 StorageManager.download_folder()。
  • 为StorageHelper.upload_from_stream()、StorageHelper.upload()和StorageHelper.upload_from_stream()添加进度报告日志。
  • 添加 Jupyter 自动魔法 - 将 Jupyter Notebook 作为任务中的工件存储（默认 sdk.development.store_jupyter_notebook_artifact=True）。
  • Add the HTML preview of the uploaded Jupyter Notebook as an artifact.
  • 添加 PipelineController 禁用克隆基础任务选项。
  • 在优化汇总表中添加任务链接（不仅仅是任务ID）。
  • 在散点图中添加对日期时间的支持 + matplotlib 支持。
  • 改进 plotly 值类型一致性。
  • 提高 PyTorch DataLoader 的速度 (clearml GitHub Issue 207).
  • 更新自动缩放器的默认值和配置。
  • 示例：
    • 添加Hydra示例。
    • 添加工件检索示例。
    • 更新各种示例。

错误修复

  • 修复需求解析失败时的警告或错误信息（clearml GitHub Issue 291）。
  • 修复 pytorch-lighting 多节点存储 (clearml GitHub Issue 292).
  • 修复远程差异剥离（clearml GitHub Issue 295）。
  • 修复Python包检测 sklearn -> scikit-learn (clearml GitHub Issue 296).
  • 修复argparse问题：
    • 修复默认参数中带有[None]的argparse问题（clearml GitHub Issue 297）。
    • 修复科学计数法参数的解析问题（clearml GitHub Issue 313）。
    • 修复argparser日志记录始终捕获默认值的问题（仅限Windows，忽略cmd）。
    • 修复命令行中传递的argparse nargs --nargs 1 2应存储为[1, 2]而不是['1', '2']。
    • 修复对非标准argparse的支持，其默认值不是定义的类型。
    • 修复在调用Task.init()之前使用远程argparse更新的服务器（尊重跳过的参数）。
  • 修复数据集支持：
    • 修复 Dataset.remove_files() 当文件位于数据集根目录时无法找到文件的问题 (clearml GitHub Issue 303)。
    • 修复仅删除文件后关闭数据集的问题。
    • 修复数据集生成摘要表中已删除/已修改/已添加的内容。
  • 修复Hydra多运行支持（clearml GitHub Issue 306）。
  • 修复 TF/TensorBoard 支持：
    • 修复 TensorBoard 在同一进程中多次调用 Task.init() / Task.close() 的问题 (clearml GitHub Issue 312)。
    • 修复 TensorBoard 2+ 的 pr_curve。
    • 修复 TF 的 pr_curve 不应反转。
    • 修复 TF +2.3 混合 eager 模式执行时未报告摘要指标的问题。
    • 修复 TF 绑定键盘中断的问题。
    • 修复 TF 2.4 keras 加载 / 保存模型的问题。
  • 修复 clearml-task:
    • 修复脚本找不到时的错误。
    • 修复未传递 --docker 标志的问题。
    • 修复本地 git diff 的补丁问题。
  • 修复 clearml-data：
    • 修复 clearml-data sync 需要 --name。
    • 修复 clearml-data remove 中缺少必需的参数 --files。
  • 修复从Jupyter Notebook中Task.execute_remotely()的问题。
  • 修复从Jupyter Notebook调用的populate Task（使用Task.create(packages=True)基于本地安装的包自动填充）。
  • 修复包含NaN / datetime的numpy的plotly绘图。
  • 修复使用Agg后端的matplotlib（或在远程执行中）。
  • 修复了尝试将模型文件作为文件夹上传的问题（自动打包文件夹）。
  • 修复了在包importlib检测失败时整个需求检测中断的问题。
  • 修复 Task.connect(object) 应始终返回相同的对象实例。
  • 修复 Task.create() 与本地存在的仓库和脚本。
  • 修复在Logger.get_logger()无法获取文件名时崩溃的问题。
  • 修复在macOS / Windows上使用Python 3.8+时退出时的异常。
  • 修复使流水线摘要表链接到任务步骤日志。
  • 修复 Hydra 1.1 支持（argparse 描述）。
  • 修复在记录器关闭后关闭任务的问题。
  • 修复远程执行中的Task.set_base_docker()。
  • 修复工件预览限制为64KB。
  • 修复 JupyterLab 笔记本检测。
  • 修复 Python 2.7 支持。

ClearML 0.17.4​

功能

  • 添加 HyperParameterOptimizer 平行坐标 (clearml GitHub Issue 279).
  • 添加 Task.init() 参数 tags。
  • 更改HPO平行坐标颜色比例，黄色表示低。
  • 将HyperParameterOptimizer的spawn_task_project更改为spawn_project。
  • 恢复所有Numpy需求更改，仅使用下限。

错误修复

  • 修复argparse nargs支持。
  • 修复带有action="append"的argparse。
  • 修复 PyJWT v2.0 令牌解析。
  • 修复Python包检测，它不应列出file://链接。

ClearML 0.17.3​

功能

  • 添加Task.delete()支持。
  • 添加 Task.debug_simulate_remote_task() 以模拟由 ClearML Agent 执行的任务。
  • 在流水线中的已归档任务上添加警告 (clearml GitHub Issue 274).
  • 添加 Task.init(..., output_uri=True)，它将使用默认的 files_server 作为输出 URI。
  • 使clearml-data CLI具有状态，以便它记住最后一个数据集ID作为默认数据集。
  • 添加了HyperParameterOptimizer.get_optimizer_top_experiments()用于查询执行后的优化管道。
  • 添加 Task.set_archived() 和 Task.get_archived()。
  • 添加Task.set_credentials()选项以存储到凭据文件中。
  • 添加 clearml-data 现在在关闭时自动上传。
  • 添加 HyperParameterOptimizer 参数 spawn_task_project 和 save_top_k_tasks_only。

错误修复

  • 修复PipelineController在没有配置的情况下远程运行时不执行默认代码管道的问题（clearml GitHub Issue 273）。
  • 修复在项目被删除后重用任务的问题（clearml GitHub Issue 274）。
  • 修复 Task.archived_tag read-only 属性无法正常工作的问题 (clearml GitHub Issue 274).
  • 修复argparse支持以存储自定义对象的一致字符串表示。如果远程值匹配，则避免更改默认值。
  • 修复argparse类型为函数。
  • 修复数据集添加单个和多个文件。
  • 如果未指定，则从父数据集中修复获取项目名称。
  • 修复 mpl 导出器。添加了对图例的支持。
  • 修复模型上传。
  • 修复优化器回调最佳实验。
  • 修复Optuna优化器在标量查询中包含None值的任务上失败的问题。
  • 修复直接从URL安装的Python包自动检测问题。
  • 修复服务器看门狗中止的数据集上传问题。
  • 修复数据集谱系、图表和恢复数据。
  • 修复Python版本的numpy依赖。

ClearML 0.17.2​

错误修复

  • 修复损坏的 clearml-task CLI。

ClearML 0.17.1​

错误修复

  • clearml-task CLI 链接已修复。

ClearML 0.17.0​

功能

  • 将 trains 重命名为 clearml（参见 GitHub 中的 clearml）。
  • 添加clearml-data CLI用于差异数据集管理与版本控制（参见详情）。
  • 添加clearml-task CLI，用于将代码创建（导入）到ClearML中（参见详情）。
  • 添加Task.create，支持将代码/仓库导入ClearML，包括使用clearml-agent进行远程执行。

错误修复

  • PyJWT v2.0 破坏了接口。