日志持久化#
日志对于排查 Ray 应用和集群的问题非常有用。例如,如果一个节点意外终止,您可能需要访问系统日志。
Ray 不提供日志数据的本地存储解决方案。用户需要自行管理日志的生命周期。以下部分提供了如何从运行在虚拟机上的 Ray 集群收集日志的说明。
Ray 日志目录#
默认情况下,Ray 将日志写入每个 Ray 节点文件系统中的 /tmp/ray/session_*/logs
目录下的文件,包括应用程序日志和系统日志。在开始收集日志之前,请了解更多关于 日志目录和日志文件 以及 日志轮转配置 的信息。
日志处理工具#
有许多开源的日志处理工具可用,例如 [Vector][Vector]、[FluentBit][FluentBit]、[Fluentd][Fluentd]、[Filebeat][Filebeat] 和 [Promtail][Promtail]。
日志收集#
根据您的需求选择日志处理工具后,您可能需要执行以下步骤:
将日志文件作为源摄取到 Ray 集群的每个节点上。
解析和转换日志。您可能希望使用 Ray 的结构化日志 来简化此步骤。
将转换后的日志发送到日志存储或管理系统。