日志数据流

edit

日志数据流和logsdb索引模式处于技术预览阶段,未来可能会更改或移除。请勿在生产环境中使用日志数据流或logsdb索引模式。

日志数据流是一种数据流类型,能够更高效地存储日志数据。

在基准测试中,存储在日志数据流中的日志数据比常规数据流使用的磁盘空间少约2.5倍。具体影响将根据您的数据集而有所不同。

以下功能在日志数据流中已启用:

  • 合成源,它省略了存储_source字段。当请求文档源时,它会在检索时从文档字段中合成。
  • 索引排序。这会减少存储空间。默认情况下,索引在索引时按host.name@timestamp字段排序。
  • 为启用了doc_values的字段提供更高效的压缩。

创建一个日志数据流

edit

要创建日志数据流,请将您的索引模板 index.mode 设置为 logsdb

PUT _index_template/my-index-template
{
  "index_patterns": ["logs-*"],
  "data_stream": { },
  "template": {
     "settings": {
        "index.mode": "logsdb" 
     }
  },
  "priority": 101 
}

索引模式设置。

索引模板的优先级。默认情况下,Elasticsearch 附带一个优先级为 100 的 logs-*-* 模式的索引模板。您需要定义一个高于 100 的优先级,以确保此索引模板在 logs-*-* 模式下被选中,而不是默认的索引模板。有关更多信息,请参阅避免索引模式冲突部分

创建索引模板后,使用该模板的新索引将被配置为日志数据流。您可以开始索引数据并使用数据流