日志持久化#

日志对于排查 Ray 应用和集群的问题非常有用。例如,如果一个节点意外终止,您可能需要访问系统日志。

Ray 不提供日志数据的本地存储解决方案。用户需要自行管理日志的生命周期。以下部分提供了如何从运行在虚拟机上的 Ray 集群收集日志的说明。

Ray 日志目录#

默认情况下,Ray 将日志写入每个 Ray 节点文件系统中的 /tmp/ray/session_*/logs 目录下的文件,包括应用程序日志和系统日志。在开始收集日志之前,请了解更多关于 日志目录和日志文件 以及 日志轮转配置 的信息。

日志处理工具#

有许多开源的日志处理工具可用,例如 [Vector][Vector]、[FluentBit][FluentBit]、[Fluentd][Fluentd]、[Filebeat][Filebeat] 和 [Promtail][Promtail]。

日志收集#

根据您的需求选择日志处理工具后,您可能需要执行以下步骤:

  1. 将日志文件作为源摄取到 Ray 集群的每个节点上。

  2. 解析和转换日志。您可能希望使用 Ray 的结构化日志 来简化此步骤。

  3. 将转换后的日志发送到日志存储或管理系统。