以下是一些处理Parquet文件时的技巧集合。

读取Parquet文件的技巧

Use union_by_name When Loading Files with Different Schemas

union_by_name 选项可用于统一具有不同或缺失列的文件的模式。对于没有某些列的文件，将填充 NULL 值：

SELECT *
FROM read_parquet('flights*.parquet', union_by_name = true);

编写Parquet文件的技巧

在读取时使用glob模式或Hive分区结构是透明处理多个文件的好方法。

启用 PER_THREAD_OUTPUT

如果最终的Parquet文件数量不重要，每个线程写入一个文件可以显著提高性能：

COPY
    (FROM generate_series(10_000_000))
    TO 'test.parquet'
    (FORMAT PARQUET, PER_THREAD_OUTPUT);

选择一个 ROW_GROUP_SIZE

ROW_GROUP_SIZE 参数指定了 Parquet 行组中的最小行数，最小值为 DuckDB 的向量大小，即 2,048，默认值为 122,880。 Parquet 行组是行的分区，由数据集中每列的列块组成。

压缩算法仅应用于每个行组，因此行组大小越大，压缩数据的机会就越多。 DuckDB 可以并行读取 Parquet 行组，即使在同一文件内，并使用谓词下推仅扫描元数据范围与查询的 WHERE 子句匹配的行组。 然而，读取每个组中的元数据会有一些开销。 一个好的方法是确保在每个文件中，行组的总数至少与用于查询该文件的 CPU 线程数一样多。 超过线程数的更多行组会提高高选择性查询的速度，但会减慢必须扫描整个文件的查询（如聚合）的速度。

要编写一个查询到具有不同行组大小的Parquet文件，请运行：

COPY
    (FROM generate_series(100_000))
    TO 'row-groups.parquet'
    (FORMAT PARQUET, ROW_GROUP_SIZE 100_000);

The ROW_GROUPS_PER_FILE 选项

ROW_GROUPS_PER_FILE 参数在当前文件具有指定数量的行组时创建一个新的 Parquet 文件。

COPY
    (FROM generate_series(100_000))
    TO 'output-directory'
    (FORMAT PARQUET, ROW_GROUP_SIZE 20_000, ROW_GROUPS_PER_FILE 2);

如果多个线程处于活动状态，文件中的行组数量可能会略微超过指定的行组数量，以限制锁定的数量——类似于FILE_SIZE_BYTES的行为。 然而，如果设置了PER_THREAD_OUTPUT，则每个文件只有一个线程写入，这样它又会变得准确。

查看“文件格式”性能指南以获取更多提示。