批处理节点
这个 batch 节点处理多个子 QueryNode 或 QueryFluxNodes 的创建。
每次调用 query 或 queryFlux
都会创建一个可以进一步配置的子批处理节点。
请参阅 QueryNode 和 QueryFluxNode。
在批处理任务中的 batch 变量是一个 BatchNode. 的实例。
当使用 BatchNode 时,需要一个 QueryNode 或 QueryFluxNode。 它们定义了批量数据的来源和调度,并应在任何其他 chaining methods 之前使用。
示例:
var errors = batch
|query('SELECT value from errors')
...
var views = batch
|query('SELECT value from views')
...
var errors = batch
|queryFlux('''
from(bucket: "example-bucket")
|> range(start: -1m)
|> filter(fn: (r) => r._measurement == "errors")
''')
...
var views = batch
|queryFlux('''
from(bucket: "example-bucket")
|> range(start: -1m)
|> filter(fn: (r) => r._measurement == "views")
''')
...
可用统计数据:
- query_errors:查询时的错误数量
- batches_queried: 查询返回的批次数量
- points_queried: 批次中点的总数
构造函数
| 链式方法 | 描述 |
|---|---|
| batch | 没有构造函数签名。 |
属性方法
| 设置器 | 描述 |
|---|---|
| quiet ( ) | 抑制此节点的所有错误日志事件。 |
链式调用方法
属性
属性方法修改调用节点的状态。它们不会向管道中添加另一个节点,并始终返回对调用节点的引用。属性方法使用.运算符标记。
安静
抑制来自此节点的所有错误日志事件。
batch.quiet()
链式调用方法
链式方法在调用节点的子节点中创建一个新的节点。它们不会修改调用节点。链式方法使用 | 运算符标记。
死者
用于在低吞吐量时创建警报的辅助函数,也称为死手开关。
- 阈值:如果吞吐量在点/区间中下降到阈值以下,则触发警报。
- 间隔:检查吞吐量的频率。
- 表达式:可选的表达式列表,供评估使用。对于时间警报非常有用。
示例:
var data = batch
|query()...
// Trigger critical alert if the throughput drops below 100 points per 10s and checked every 10s.
data
|deadman(100.0, 10s)
//Do normal processing of data
data...
上面的内容等同于这个示例:
var data = batch
|query()...
// Trigger critical alert if the throughput drops below 100 points per 10s and checked every 10s.
data
|stats(10s)
.align()
|derivative('emitted')
.unit(10s)
.nonNegative()
|alert()
.id('node \'stream0\' in task \'{{ .TaskName }}\'')
.message('{{ .ID }} is {{ if eq .Level "OK" }}alive{{ else }}dead{{ end }}: {{ index .Fields "emitted" | printf "%0.3f" }} points/10s.')
.crit(lambda: "emitted" <= 100.0)
//Do normal processing of data
data...
可以通过“deadman”配置部分全局配置id和message警报属性。
由于AlertNode是最后一部分,可以像往常一样进一步修改。 示例:
var data = batch
|query()...
// Trigger critical alert if the throughput drops below 100 points per 10s and checked every 10s.
data
|deadman(100.0, 10s)
.slack()
.channel('#dead_tasks')
//Do normal processing of data
data...
您可以指定额外的lambda表达式,以进一步限制何时触发死手按钮。 示例:
var data = batch
|query()...
// Trigger critical alert if the throughput drops below 100 points per 10s and checked every 10s.
// Only trigger the alert if the time of day is between 8am-5pm.
data
|deadman(100.0, 10s, lambda: hour("time") >= 8 AND hour("time") <= 17)
//Do normal processing of data
data...
batch|deadman(threshold float64, interval time.Duration, expr ...ast.LambdaNode)
返回: AlertNode
查询
要执行的查询。必须不包含时间条件在WHERE子句中或包含GROUP BY子句。时间条件根据周期、偏移量和计划动态添加。GROUP BY子句根据传递给groupBy方法的维度动态添加。
batch|query(q string)
返回: QueryNode
查询流
要执行的 Flux 查询。
batch|QueryFlux(queryStr string)
返回: QueryFluxNode
统计
创建一个新的数据流,其中包含节点的内部统计信息。 间隔表示根据实时多长时间发出一次统计信息。 这意味着间隔时间与源节点接收的数据点次数无关。
batch|stats(interval time.Duration)
返回结果: StatsNode