Skip to main content

版本 1.0

ClearML 1.0.5​

功能

  • 添加点击支持 (ClearML GitHub 问题 #386)
  • 为SHA2生成添加进度条 (ClearML GitHub 问题 #396)
  • 为任务报告的运行时信息添加前缀：cpu_cores、gpu_driver_version 和 gpu_driver_cuda_version
  • 添加对Logger.report_text()显式日志级别报告的支持
  • 向StorageManager.list()添加return_full_path参数
  • 支持 Task.get_tasks() 传递多个项目名称
  • 添加 TaskScheduler
  • 添加task_filter参数到Objective.get_top_tasks()，允许name作为task_filter字段
  • 向clearml-task添加--output-uri命令行选项
  • 添加requirements_file参数到Task.force_requirements_env_freeze()，以允许指定本地需求文件
  • 在Task.connect_configuration()中添加对list类型参数的支持（之前仅支持dict类型）
  • 将TrainsTuner重命名为ClearmlTuner
  • 更新文档链接

错误修复

  • 修复多索引的Pandas (ClearML GitHub 问题 #399)
  • 修复了在HTTPDriver中检查权限失败的问题（ClearML GitHub issue #394）
  • 修复数据集未在现有的data_processing任务上设置系统标签的问题
  • 修复在管道控制器中禁用冗余资源监控的问题
  • 修复当同时指定project和target_project时的ClearMLJob
  • 修复 ClearMLJob docker 容器信息未缓存的问题
  • 修复在清除Python日志处理程序后没有打印日志的问题
  • 修复 PipelineController 回调返回 False
  • 修复内部 logging.Logger 无法被序列化的问题（仅适用于 Python 3.6 或更低版本）
  • 等待报告的事件刷新，以确保Task.flush()与wait_for_uploads=True等待后台进程

ClearML 1.0.4​

功能

  • 添加Google Colab笔记本教程 (ClearML GitHub PR 368 和 ClearML GitHub PR 374)
  • 在Tensorboard中添加对GIF图像的支持 (ClearML GitHub issue 372)
  • 为add_video添加一个tensorboardX示例（在tensorboard中创建GIF）(ClearML GitHub PR 372)
  • 添加可定制的启动bash脚本以支持自动缩放器
  • 添加 Task.ignore_requirements
  • 弃用 Logger.tensorboard_single_series_per_graph()，因为它现在可以从UI控制 🙂

错误修复

  • 修复了用于数据集创建的 default_output_uri (ClearML GitHub 问题 371)
  • 修复 clearml-task 在没有 docker 脚本时失败的问题 (ClearML GitHub 问题 378)
  • 修复 PyTorch DDP 子进程生成多进程问题
  • 修复在已创建任务（未初始化任务）上的Task.execute_remotely()
  • 修复自动缩放器自定义bash脚本应在启动代理之前最后调用
  • 修复自动扩展器一次性启动过多实例然后杀死空闲实例的问题（启动时间比轮询时间长）
  • 修复使用ProcessFork的多进程生成上下文在父进程结束前杀死子进程的问题

ClearML 1.0.3​

功能

  • 如果在配置文件或环境变量中没有提供密钥，则使用默认的boto凭证链（ClearML GitHub PR 342）
  • 支持 DummyModel 配置 (Slack Channel)
  • 添加 report_matplotlib_figure(..., report_interactive=False) 允许将 matplotlib 上传为非交互式（高质量 png）图表
  • 添加 Logger.matplotlib_force_report_non_interactive()
  • 移除matplotlib轴范围（plotly.js 自动范围可以实时调整）
  • 在cleanup-service中添加对象存储支持
  • 向Dataset.create()添加dataset_tags参数
  • 在 clearml-task CLI 中公开 docker_args 和 docker_bash_setup_script
  • 添加Nvidia驱动和Cuda版本的日志记录
  • 在脚本要求中添加可选的忽略包（目前用于pywin32）
  • 更新示例
    • 增加通道结果以支持最多1K通道用于查找Slack通道，并在Slack Alerts监控服务中使用游标
    • 将csv数据样本添加到data_samples
    • 移除已弃用的示例

错误修复

  • 修复 Hydra 不应存储完整解析的 OmegaConf (ClearML GitHub 问题 327)
  • 修复直接导入keras保存/加载模型函数的问题 (ClearML GitHub 问题 355)
  • 修复作为模块运行的问题 (ClearML GitHub 问题 359)
  • 修复 Python 2.7 支持 (ClearML GitHub 问题 366)
  • 修复 Task.add_requirements() 传递以 @、; 或 # 开头的 package_version
  • 修复从TF导入keras的问题
  • 修复对Hydra的run_job()参数顺序更改的支持，通过将config和task_function作为关键字参数传递
  • 修复了使用Google Storage（gs://）进行后台上传重试的问题
  • 修复了Task.close()中的Python 3.8竞争条件
  • 修复创建任务后立即关闭可能会阻塞的问题
  • 修复从Jupyter笔记本中Task.execute_remotely()的问题
  • 修复VSCode中的Jupyter Notebook
  • 修复对 Dataset.create() 参数 use_current_task 的支持
  • 修复Dataset.finalize()在极端情况下可能会挂起的问题
  • 防止在自动绑定模型时使用错误的文件对象类型
  • 修复 matplotlib 日期转换器
  • 修复自动化控制器覆盖节点克隆

ClearML 1.0.2​

错误修复

  • 修复在极少数情况下进程在退出时卡住的问题，再次 :)

ClearML 1.0.1​

错误修复

  • 修复在极少数情况下进程在退出时卡住的问题

ClearML 1.0.0​

Breaking Changes

在Logger.report_line_plot()、Logger.report_plotly()和Logger.report_matplotlib_figure()中，参数的顺序已更改 - 请使用关键字参数而不是位置参数

功能

  • 添加操作系统环境变量 CLEARML_DEFAULT_OUTPUT_URI 以覆盖默认的 output_uri，用于自动模型上传 (ClearML GitHub 问题 328)
  • 添加 Task.force_requirements_env_freeze() 强制使用 pip freeze 而不是包分析 (ClearML GitHub 问题 304)
  • 改进管道支持
    • 在ClearmlJob中添加任务参数覆盖（ClearML GitHub 问题 214）
    • 添加PipelineController节点跳过可视化和预/后执行回调
  • 允许使用Task.init(auto_connect_frameworks={'tensorboard': True/False})启用/禁用tensorboard自动连接（默认值：True）
  • 允许从之前的执行迭代继续运行
  • 支持在服务器支持排队停止任务时，在Task.execute_remotely()中停止而不是重置
  • 使用Model.query_models()添加模型查询接口
  • 支持使用"."在键中存储字典，通过Task.connect_configuration
  • 添加force参数到Task.mark_failed()，以允许将任务状态设置为failed，无论任务当前状态如何
  • 向Task.create()添加docker_args和docker_bash_setup_script参数
  • 将Logger绘图的迭代参数默认值更改为0（或None）
  • 在Task.get_task()中使用allow_archived和task_filter参数添加任务过滤
  • 添加 Task.get_configuration_objects() 用于在自动化用例中检索配置对象作为文本块（而不是使用 Task.connect_configuration()）
  • 改进的管道支持
    • 添加管道步骤缓存
    • 添加管道控制器缓存
    • 改进管道绘图报告
    • 将PipelineController添加到主命名空间（使用from clearml import PipelineController）
  • 添加 Jupyter 笔记本预览更新时间戳
  • 将默认的指标报告刷新时间更改为每5秒
  • 改进 Task.artifacts 以更安全地处理多节点任务用例
  • 支持 ClearML 服务器 API v2.13
  • Add Python 3.9 to the support table
  • 改进文档和示例
    • 改进clearml-data、clearml-task的文档
    • 添加multiple_tasks_single_process示例脚本，用于在同一代码中创建多个任务
    • 添加using_artifacts_example和execute_remotely_example示例脚本
    • 更新KerasTuner示例的requirements.txt

错误修复

  • 修复调试样本标题/系列中的 \r 和 \n (ClearML GitHub 问题 323)
  • 修复了在没有存储部分的情况下导入Google API凭据时引发异常的问题（ClearML GitHub issue 331）
  • 修复 Matplotlib 自动导出图例不显示系列名称的问题 (ClearML GitHub 问题 337)
  • 修复 Task.set_comment/name() 传递 None 应等同于 ''
  • 修复当同时找到trains.conf和clearml.conf时，Task.set_credentials()使用了错误的配置文件
  • 修复 Task.set_credetnials() 应该覆盖配置文件中的设置
  • 修复Keras h5模型存储
  • 修复带有子进程的Task.execute_remotely()
  • 修复任务要求应符合字符串
  • 修复任务关闭后的报告问题
  • 修复使用 matplotlib 3.1 时的弃用警告
  • 修复数据集创建单一根图
  • 修复 Model.task 应返回任务 ID
  • 修复离开进程时代码挂起的问题
  • 修复CR超时时的刷新问题（默认10秒）
  • 等待子进程终止
  • 改进在KeyboardInterrupt异常时的刷新行为
  • 等待子进程在终止时刷新
  • 修复 Task.set_credentials() 与 store_conf_file=True