Examples

以下示例使用 flights.csv 文件。

从磁盘读取CSV文件，自动推断选项：

SELECT * FROM 'flights.csv';

使用带有自定义选项的read_csv函数：

SELECT *
FROM read_csv('flights.csv',
    delim = '|',
    header = true,
    columns = {
        'FlightDate': 'DATE',
        'UniqueCarrier': 'VARCHAR',
        'OriginCityName': 'VARCHAR',
        'DestCityName': 'VARCHAR'
    });

从标准输入读取CSV，自动推断选项：

cat flights.csv | duckdb -c "SELECT * FROM read_csv('/dev/stdin')"

将CSV文件读取到表格中：

CREATE TABLE ontime (
    FlightDate DATE,
    UniqueCarrier VARCHAR,
    OriginCityName VARCHAR,
    DestCityName VARCHAR
);
COPY ontime FROM 'flights.csv';

或者，使用CREATE TABLE .. AS SELECT 语句创建表，而无需手动指定模式：

CREATE TABLE ontime AS
    SELECT * FROM 'flights.csv';

我们可以使用FROM-first syntax来省略SELECT *。

CREATE TABLE ontime AS
    FROM 'flights.csv';

将查询结果写入CSV文件。

COPY (SELECT * FROM ontime) TO 'flights.csv' WITH (HEADER, DELIMITER '|');

如果我们序列化整个表，我们可以简单地用它的名称来引用它。

COPY ontime TO 'flights.csv' WITH (HEADER, DELIMITER '|');

CSV Loading

CSV加载，即将CSV文件导入数据库，是一个非常常见但又出奇棘手的任务。虽然CSV表面看起来简单，但CSV文件中存在许多不一致之处，这使得加载它们成为一个挑战。CSV文件有许多不同的种类，经常损坏，并且没有模式。CSV阅读器需要应对所有这些不同的情况。

DuckDB CSV 阅读器可以通过使用 CSV 嗅探器 分析 CSV 文件来自动推断要使用的配置标志。在大多数情况下，这将正常工作，应该是首先尝试的选项。在极少数情况下，如果 CSV 阅读器无法确定正确的配置，可以手动配置 CSV 阅读器以正确解析 CSV 文件。有关更多信息，请参阅 自动检测页面。

Parameters

以下是可以传递给CSV阅读器的参数。这些参数被read_csv函数接受。但并非所有参数都被COPY语句接受。

auto_type_candidates 详情

auto_type_candidates 选项允许您指定 CSV 读取器在列数据类型检测时应考虑的数据类型。 使用示例：

SELECT * FROM read_csv('csv_file.csv', auto_type_candidates = ['BIGINT', 'DATE']);

auto_type_candidates 选项的默认值为 ['SQLNULL', 'BOOLEAN', 'BIGINT', 'DOUBLE', 'TIME', 'DATE', 'TIMESTAMP', 'VARCHAR']。

CSV 函数

read_csv 自动尝试使用 CSV sniffer 来推断 CSV 读取器的正确配置。它还会自动推断列的类型。如果 CSV 文件有标题行，它将使用该标题行中的名称来命名列。否则，列将被命名为 column0, column1, column2, ...。以下是一个使用 flights.csv 文件的示例：

SELECT * FROM read_csv('flights.csv');

路径可以是相对路径（相对于当前工作目录）或绝对路径。

我们可以使用 read_csv 来创建一个持久表：

CREATE TABLE ontime AS
    SELECT * FROM read_csv('flights.csv');
DESCRIBE ontime;

SELECT * FROM read_csv('flights.csv', sample_size = 20_000);

如果我们明确设置delim/sep、quote、escape或header，我们可以绕过该特定参数的自动检测：

SELECT * FROM read_csv('flights.csv', header = true);

Multiple files can be read at once by providing a glob or a list of files. Refer to the multiple files section for more information.

使用COPY语句进行写入

COPY 语句 可用于将数据从CSV文件加载到表中。此语句的语法与PostgreSQL中使用的语法相同。要使用 COPY 语句加载数据，我们首先必须创建一个具有正确模式的表（该模式与CSV文件中的列顺序匹配，并使用适合CSV文件中值的类型）。COPY 会自动检测CSV的配置选项。

CREATE TABLE ontime (
    flightdate DATE,
    uniquecarrier VARCHAR,
    origincityname VARCHAR,
    destcityname VARCHAR
);
COPY ontime FROM 'flights.csv';
SELECT * FROM ontime;

如果我们想手动指定CSV格式，我们可以使用COPY的配置选项来实现。

CREATE TABLE ontime (flightdate DATE, uniquecarrier VARCHAR, origincityname VARCHAR, destcityname VARCHAR);
COPY ontime FROM 'flights.csv' (DELIMITER '|', HEADER);
SELECT * FROM ontime;

读取有问题的CSV文件

DuckDB 支持读取错误的 CSV 文件。详情请参阅 读取错误 CSV 文件页面。

Limitations

CSV 读取器仅支持使用 UTF-8 字符编码的输入文件。对于使用不同编码的 CSV 文件，可以使用例如 iconv 命令行工具 将其转换为 UTF-8。例如：

iconv -f ISO-8859-2 -t UTF-8 input.csv > input-utf-8.csv

顺序保持

CSV 读取器遵循 preserve_insertion_order 配置选项 以 保留插入顺序。 当 true（默认值）时，CSV 读取器返回的结果集中的行顺序与从文件中读取的相应行的顺序相同。 当 false 时，不能保证顺序被保留。