HTTP(S) Support

Search Shortcut cmd + k | ctrl + k

Documentation / Extensions / httpfs (HTTP and S3)

HTTP(S) Support

通过httpfs扩展，可以直接通过HTTP(S)协议查询文件。这适用于DuckDB或其各种扩展支持的所有文件，并提供只读访问。

SELECT *
FROM 'https://domain.tld/file.extension';

部分读取

对于CSV文件，由于格式的基于行的特性，文件在大多数情况下会完全下载。对于Parquet文件，DuckDB支持部分读取，即它可以使用Parquet元数据和HTTP范围请求的组合，仅下载查询实际需要的文件部分。例如，以下查询将仅读取Parquet元数据和column_a列的数据：

SELECT column_a
FROM 'https://domain.tld/file.parquet';

在某些情况下，根本不需要读取实际数据，因为它们只需要读取元数据：

SELECT count(*)
FROM 'https://domain.tld/file.parquet';

支持通过HTTP(S)扫描多个文件：

SELECT *
FROM read_parquet([
    'https://domain.tld/file1.parquet',
    'https://domain.tld/file2.parquet'
]);

此功能目前仅在夜间构建中可用。它将在0.10.1版本中发布。

要使用带有自定义证书文件的httpfs扩展，请在加载扩展之前设置以下配置选项：

LOAD httpfs;
SET ca_cert_file = '⟨certificate_file⟩';
SET enable_server_cert_verification = true;