Influx 检查磁盘工具

Influx Inspect 是一个 InfluxDB 磁盘工具，可用于：

查看有关磁盘分片的详细信息。
将数据从分片导出为 InfluxDB 行协议，可以重新插入数据库中。
将TSM索引分片转换为TSI索引分片。

`influx_inspect` 工具

语法

influx_inspect [ [ command ] [ options ] ]

-help 是默认命令，打印工具的语法和使用信息。

`influx_inspect` 命令

这里总结了influx_inspect命令，并提供了每个命令的详细信息链接。

buildtsi: 将内存中的（基于TSM的）分片转换为TSI。
check-schema: 检查分片之间的类型冲突。
deletetsm: 批量删除原始TSM文件中的一个测量值。
dumptsi: 转储关于TSI文件的低级详细信息。
dumptsm: 转储有关TSM文件的低级详细信息。
dumptsmwal: 从WAL文件中导出所有数据。
export: 以InfluxDB行协议格式导出分片中的原始数据。
merge-schema: 合并来自check-schema命令的一组模式文件。
report: 显示分片级别的报告。
report-db: 估算数据库的 InfluxDB Cloud (TSM) 基数。
report-disk: 按碎片和测量报告磁盘使用情况。
reporttsi: 报告测量和分片的基数。
verify: 验证TSM文件的完整性。
verify-seriesfile: 验证系列文件的完整性。
verify-tombstone: 验证墓碑的完整性。

`buildtsi`

构建基于磁盘的TSI（时间序列索引）分片索引文件和相关的系列文件。索引被写入临时位置，直到完成，然后移至永久位置。如果发生错误，则此操作将回退到原始的内存索引。

注意： 仅用于离线转换。 当TSI启用时，新分片使用TSI索引。现有分片继续作为基于TSM的分片，直到离线转换。

语法

influx_inspect buildtsi -datadir <data_dir> -waldir <wal_dir> [ options ]

注意： 使用 buildtsi 命令时，请使用您将要以其运行数据库的用户账户，或在运行命令后确保权限匹配。

选项

可选参数在括号中。

`[ -batch-size ]`

写入索引的批次大小。默认值是 10000。

警告： 设置此值可能对性能和堆大小产生不良影响。

`[ -compact-series-file ]`

不重建索引。 压缩现有的系列文件，包括离线系列。遍历每个段中的系列，并将索引中非墓碑系列重写到与该段相邻的新 .tmp 文件中。一旦所有段都被转换，临时文件将覆盖原始段。

`[ -concurrency ]`

分配给分片索引构建的工人数量。默认为 GOMAXPROCS 值。

`[ -database <db_name> ]`

数据库的名称。

`-datadir <data_dir>`

指向 data 目录的路径。

默认值是 $HOME/.influxdb/data. 有关您系统上 InfluxDB 的文件系统布局请查看。

`[ -max-cache-size ]`

缓存的最大大小，在开始拒绝写入之前。这个值覆盖了配置设置 [data] cache-max-memory-size。默认值为 1073741824。

`[ -max-log-file-size ]`

日志文件的最大大小。默认值为 1048576。

`[ -retention <rp_name> ]`

保留策略的名称。

`[ -shard <shard_ID> ]`

分片的标识符。

`[ -v ]`

启用详细模式下输出的标志。

`-waldir <wal_dir>`

用于WAL（预写日志）文件的目录。

默认值是 $HOME/.influxdb/wal。请参阅InfluxDB在您系统上的文件系统布局。

示例

在节点上转换所有分片

$ influx_inspect buildtsi -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal

转换数据库的所有分片

$ influx_inspect buildtsi -database mydb datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal

转换特定分片

$ influx_inspect buildtsi -database stress -shard 1 datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal

`check-schema`

检查分片之间的类型冲突。

语法

influx_inspect check-schema [ options ]

选项

[ `-conflicts-file <string>` ]

文件名冲突数据应写入。默认值为 conflicts.json。

[ `-path <string>` ]

存放 fields.idx 文件的目录路径。默认是当前工作目录 .。

[ `-schema-file <string>` ]

文件名模式数据应该写入。默认值是 schema.json。

`deletetsm`

使用 deletetsm -measurement 删除原始 TSM 文件中的一个测量（来自指定的分片）。使用 deletetsm -sanitize 删除原始 TSM 文件中包含不可打印的 Unicode 字符的所有标签和字段键（来自指定的分片）。

警告： 仅当您的 InfluxDB 实例离线时（influxd 服务未运行），才使用 deletetsm 命令。

语法

influx_inspect deletetsm -measurement <measurement_name> [ arguments ] <path>

`<path>`

默认情况下，.tsm 文件位于 data 目录中的路径。

在指定路径时，通配符 (*) 可以替代一个或多个字符。

选项

必须提供 -measurement 或 -sanitize 标志。

`-measurement`

要从TSM文件中删除的测量名称。

`-sanitize`

标志以从TSM文件中删除所有包含不可打印Unicode字符的键。

`-v`

可选。启用详细日志记录的标志。

示例

从单个分片中删除测量

从单个分片中删除测量 h2o_feet。

./influx_inspect deletetsm -measurement h2o_feet /influxdb/data/location/autogen/1384/*.tsm

从数据库中所有分片删除一个测量

从数据库中所有分片删除测量 h2o_feet。

./influx_inspect deletetsm -measurement h2o_feet /influxdb/data/location/autogen/*/*.tsm

`dumptsi`

转储关于TSI文件的低级细节，包括 .tsl 日志文件和 .tsi 索引文件。

语法

influx_inspect dumptsi [ options ] <index_path>

如果没有指定选项，将为每个文件提供汇总统计信息。

选项

可选参数在括号中。

`-series-file <series_path>`

在数据库 data 目录下的 _series 目录的路径。必需。

[ `-series` ]

转储原始系列数据。

[ `-measurements` ]

导出原始 measurement 数据。

[ `-tag-keys` ]

转储原始 tag keys。

[ `-tag-values` ]

转储原始 tag values。

[ `-tag-value-series` ]

转储每个标签值的原始系列。

[ `-measurement-filter <regular_expression>` ]

通过测量正则表达式过滤数据。

[ `-tag-key-filter <regular_expression>` ]

按标签键正则表达式过滤数据。

[ `-tag-value-filter <regular_expression>` ]

按标签值的正则表达式过滤数据。

示例

指定路径到 `_series` 和 `index` 目录

$ influx_inspect dumptsi -series-file /path/to/db/_series /path/to/index

指定`_series`目录和`index`文件的路径

$ influx_inspect dumptsi -series-file /path/to/db/_series /path/to/index/file0

指定`_series`目录和多个`index`文件的路径

$ influx_inspect dumptsi -series-file /path/to/db/_series /path/to/index/file0 /path/to/index/file1 ...

`dumptsm`

转储有关 TSM 文件的低级详细信息，包括 TSM (.tsm) 文件和 WAL (.wal) 文件。

语法

influx_inspect dumptsm [ options ] <path>

`<path>`

默认情况下，.tsm 文件位于 data 目录中的路径。

选项

可选参数在括号中。

[ `-index` ]

转储原始索引数据的标志。默认值是 false。

[ `-blocks` ]

用于转储原始块数据的标志。
默认值为 false。

[ `-all` ]

转储所有数据的标志。注意：这可能会打印大量信息。默认值是 false。

[ `-filter-key <key_name>` ]

仅显示与此关键子字符串匹配的索引数据和块数据。默认值为 ""。

`dumptsmwal`

仅从一个或多个WAL (.wal) 文件中转储所有条目，并排除TSM (.tsm) 文件。

语法

influx_inspect dumptsmwal [ options ] <wal_dir>

选项

可选参数在括号中。

[ `-show-duplicates` ]

标志以显示具有重复或无序时间戳的键。如果用户写入由客户端设置的时间戳的点，则可以写入多个具有相同时间戳（或时间递减时间戳）的点。

`export`

以InfluxDB行协议数据格式导出所有TSM文件。这个输出文件可以使用influx命令导入。

语法

influx_inspect export [ options ]

选项

可选参数在括号中。

[ `-compress` ]

使用 gzip 压缩输出的标志。默认值为 false。

[ `-database <db_name>` ]

要导出的数据库名称。默认值为 ""。

`-datadir <data_dir>`

指向 data 目录的路径。

默认值是 $HOME/.influxdb/data。有关您系统上 InfluxDB 的文件系统布局，请参见。

[ `-end <timestamp>` ]

时间范围结束的时间戳。必须采用RFC3339格式。

RFC3339要求非常特定的格式。例如，要表示没有时区偏移（UTC +0），必须在秒后面包含Z或+00:00。有效的RFC3339格式示例包括：

无偏移

YYYY-MM-DDTHH:MM:SS+00:00
YYYY-MM-DDTHH:MM:SSZ
YYYY-MM-DDTHH:MM:SS.nnnnnnZ (fractional seconds (.nnnnnn) are optional)

带偏移量

YYYY-MM-DDTHH:MM:SS-08:00
YYYY-MM-DDTHH:MM:SS+07:00

注意： 在偏移量中，避免用 Z 替换 + 或 - 符号。这可能会导致错误或打印 Z（ISO 8601 行为）而不是时区偏移。

[ `-lponly` ]

仅以行协议格式输出数据。不输出数据定义语言（DDL）语句（例如 CREATE DATABASE）或 DML 上下文元数据（例如 # CONTEXT-DATABASE）。

[ `-out` ]

导出文件的位置。默认值是 $HOME/.influxdb/export。

[ `-retention <rp_name>` ]

要导出的保留策略的名称。默认值为""。

[ `-start <timestamp>` ]

时间范围开始的时间戳。时间戳字符串必须采用 RFC3339 格式。

[ `-waldir <wal_dir>` ]

到WAL目录的路径。

默认值是 $HOME/.influxdb/wal。查看您系统上InfluxDB的文件系统布局。

示例

导出所有数据库并压缩输出

influx_inspect export -compress

从特定数据库和保留政策导出数据

influx_inspect export -database DATABASE_NAME -retention RETENTION_POLICY

输出文件

# DDL
CREATE DATABASE DATABASE_NAME 
CREATE RETENTION POLICY <RETENTION_POLICY> ON <DATABASE_NAME> DURATION inf REPLICATION 1

# DML
# CONTEXT-DATABASE:DATABASE_NAME
# CONTEXT-RETENTION-POLICY:RETENTION_POLICY
randset value=97.9296104805 1439856000000000000
randset value=25.3849066842 1439856100000000000

`merge-schema`

从 check-schema 命令合并一组模式文件。

语法

influx_inspect merge-schema [ options ]

选项

[ `-conflicts-file <string>` ]

文件名冲突数据应写入。默认值为 conflicts.json。

[ `-schema-file <string>` ]

输出文件的文件名。默认是 schema.json。

`report`

显示所有分片的序列元数据。
默认位置是 $HOME/.influxdb。

语法

influx_inspect report [ options ] <path>

选项

可选参数在括号中。

`<path>`

InfluxDB data 目录的路径。

[ `-pattern "<regular expression/wildcard>"` ]

用于匹配包含的文件的正则表达式或通配符模式。默认值是 ""。

[ `-detailed` ]

报告详细基数估计的标志。默认值是 false。

[ `-exact` ]

报告精确基数计数而不是估计值的标志。
默认值为 false。
注意：这可能会使用很多内存。

`report-db`

使用 report-db 命令来估算迁移到 InfluxDB Cloud (TSM) 的数据库中的数据系列基数。InfluxDB Cloud (TSM) 在系列键中包含字段键，因此唯一的字段键会影响总基数。在 InfluxDB 1.x 数据库中的数据总系列基数可能与迁移到 InfluxDB Cloud (TSM) 后的同一数据的系列基数不同。

语法

influx_inspect report-db [ options ]

选项

[ `-c <int>` ]

设置工作并发。默认值是 1。

`-db-path <string>`

必需: 数据库的路径。

[ `-detailed` ]

在命令输出中包含字段、标签的计数。

[ `-exact` ]

报告精确的基数计数，而不是估算。这种计算方法可能会消耗大量内存。

[ `-rollup <string>` ]

指定基数“汇总”级别——基数报告的粒度：

t: 总计
d: 数据库
r: 保留策略
m: 测量 (默认)

`report-disk`

使用 report-disk 命令查看指定目录中每个分片和测量的TSM文件磁盘使用情况。对于容量规划和识别哪个测量或分片使用最多的磁盘空间非常有用。默认目录路径为 ~/.influxdb/data/。

通过数据库 (db), 保留策略 (rp), 分片 (shard), tsm 文件 (tsm_file), 和测量值 (measurement) 计算总磁盘大小。

语法

influx_inspect report-disk [ options ] <data_dir>

选项

可选参数在括号中。

[ `-detailed` ]

按测量报告磁盘使用情况。

`reporttsi`

该报告执行以下操作：

计算数据库中总的精确序列基数。
通过测量对基数进行划分，并发出这些基数值。
发出数据库中每个分片的总精确基数。
每个分片的每个测量的确切基数分段。
可选地将每个分片中的结果限制为“前 n”。

当基数发生变化且不清楚哪个测量负责此变化时，reporttsi 命令主要是有用的，并且进一步地，当这种变化发生。准确估计每个测量和每个分片的基数细分将有助于回答这些问题。

语法

influx_inspect reporttsi -db-path <path-to-db> [ options ]

选项

可选参数在括号中。

`-db-path <数据库路径>`

数据库的路径。

[ `-top <n>` ]

限制每个分片内结果的数量到指定的前几名。

性能

这个 reporttsi 命令使用简单的切片/映射来存储低基数测量，这样可以节省初始化位图的成本。对于高基数测量，该工具使用 roaring bitmaps，这意味着在运行工具时我们不需要将所有系列 ID 存储在堆上。低基数到高基数表示的转换是在工具运行时自动完成的。

`verify`

验证TSM文件的完整性。

语法

influx_inspect verify [ options ]

选项

可选参数在括号中。

`-dir <storage_root>`

存储根目录的路径。
默认值为 "/root/.influxdb"。

`verify-seriesfile`

验证系列文件的完整性。

语法

influx_inspect verify-seriesfile [ options ]

选项

可选参数在括号中。

[ `-c <number>` ]

指定要为此命令运行的并发工作线程的数量。默认值等于 GOMAXPROCS 的值。如果性能受到不利影响，您可以设置较低的值。

[ `-dir <path>` ]

指定根数据路径。默认为 ~/.influxdb/data。

[ `-db <db_name>` ]

限制验证系列文件仅针对数据目录中的指定数据库。

[ `-series-file <path>` ]

特定系列文件的路径；覆盖 -db 和 -dir。

[ `-v` ]

启用详细日志记录。

`verify-tombstone`

验证墓碑的完整性。

语法

influx_inspect verify-tombstone [ options ]

在指定的目录路径下查找并验证所有墓碑（默认情况下为 ~/.influxdb/data）。文件将按照顺序进行验证。

选项

可选参数在括号中。

[ `-dir <path>` ]

指定根数据路径。默认为 ~/.influxdb/data。此路径可以是任意的，例如，它不需要是 InfluxDB 数据目录。

[ `-v` ]

启用详细日志记录。确认正在验证文件，并每500万个墓碑条目显示进度。

[ `-vv` ]

启用非常详细的日志记录。显示墓碑文件中每个系列键和时间范围的进度。时间戳以自纪元（1970-01-01T00:00:00Z）以来的纳秒为单位显示。

[ `-vvv` ]

启用非常详细的日志记录。显示墓碑文件中每个系列键和时间范围的进度。时间戳以RFC3339格式显示，具有纳秒精度。

关于详细日志记录的说明： 较高的详细级别会覆盖较低的级别。

注意事项

在导出TSM分片时，系统无法访问元存储。因此，它始终创建具有无限持续时间和复制因子为1的保留策略。最终用户可能希望在重新导入之前更改此设置，如果他们是导入到集群中或希望有不同的保留持续时间。

Influx 检查磁盘工具

influx_inspect 工具

语法

influx_inspect 命令

buildtsi

语法

选项

[ -batch-size ]

[ -compact-series-file ]

[ -concurrency ]

[ -database <db_name> ]

-datadir <data_dir>

[ -max-cache-size ]

[ -max-log-file-size ]

[ -retention <rp_name> ]

[ -shard <shard_ID> ]

[ -v ]

-waldir <wal_dir>

示例

在节点上转换所有分片

转换数据库的所有分片

转换特定分片

check-schema

语法

选项

[ -conflicts-file <string> ]

[ -path <string> ]

[ -schema-file <string> ]

deletetsm

语法

<path>

选项

-measurement

-sanitize

-v

示例

从单个分片中删除测量

从数据库中所有分片删除一个测量

dumptsi

语法

选项

-series-file <series_path>

[ -series ]

[ -measurements ]

[ -tag-keys ]

[ -tag-values ]

[ -tag-value-series ]

[ -measurement-filter <regular_expression> ]

[ -tag-key-filter <regular_expression> ]

[ -tag-value-filter <regular_expression> ]

示例

指定路径到 _series 和 index 目录

指定_series目录和index文件的路径

指定_series目录和多个index文件的路径

dumptsm

语法

<path>

选项

[ -index ]

[ -blocks ]

[ -all ]

[ -filter-key <key_name> ]

dumptsmwal

语法

选项

[ -show-duplicates ]

export

语法

选项

[ -compress ]

[ -database <db_name> ]

-datadir <data_dir>

[ -end <timestamp> ]

[ -lponly ]

[ -out ]

[ -retention <rp_name> ]

[ -start <timestamp> ]

[ -waldir <wal_dir> ]

示例

导出所有数据库并压缩输出

`influx_inspect` 工具

`influx_inspect` 命令

`buildtsi`

`[ -batch-size ]`

`[ -compact-series-file ]`

`[ -concurrency ]`

`[ -database <db_name> ]`

`-datadir <data_dir>`

`[ -max-cache-size ]`

`[ -max-log-file-size ]`

`[ -retention <rp_name> ]`

`[ -shard <shard_ID> ]`

`[ -v ]`

`-waldir <wal_dir>`

`check-schema`

[ `-conflicts-file <string>` ]

[ `-path <string>` ]

[ `-schema-file <string>` ]

`deletetsm`

`<path>`

`-measurement`

`-sanitize`

`-v`

`dumptsi`

`-series-file <series_path>`

[ `-series` ]

[ `-measurements` ]

[ `-tag-keys` ]

[ `-tag-values` ]

[ `-tag-value-series` ]

[ `-measurement-filter <regular_expression>` ]

[ `-tag-key-filter <regular_expression>` ]

[ `-tag-value-filter <regular_expression>` ]

指定路径到 `_series` 和 `index` 目录

指定`_series`目录和`index`文件的路径

指定`_series`目录和多个`index`文件的路径

`dumptsm`

`<path>`

[ `-index` ]

[ `-blocks` ]

[ `-all` ]

[ `-filter-key <key_name>` ]

`dumptsmwal`

[ `-show-duplicates` ]

`export`

[ `-compress` ]

[ `-database <db_name>` ]

`-datadir <data_dir>`

[ `-end <timestamp>` ]

[ `-lponly` ]

[ `-out` ]

[ `-retention <rp_name>` ]

[ `-start <timestamp>` ]

[ `-waldir <wal_dir>` ]

`merge-schema`

[ `-conflicts-file <string>` ]

[ `-schema-file <string>` ]

`report`

`<path>`

[ `-pattern "<regular expression/wildcard>"` ]

[ `-detailed` ]

[ `-exact` ]

`report-db`

[ `-c <int>` ]

`-db-path <string>`

[ `-detailed` ]

[ `-exact` ]

[ `-rollup <string>` ]

`report-disk`

[ `-detailed` ]

`reporttsi`

`-db-path <数据库路径>`

[ `-top <n>` ]

`verify`

`-dir <storage_root>`

`verify-seriesfile`

[ `-c <number>` ]

[ `-dir <path>` ]

[ `-db <db_name>` ]

[ `-series-file <path>` ]