分布式嵌入集群

API支持将多个API实例合并为一个逻辑嵌入索引。以下是一个示例配置。

cluster:
    shards:
        - http://127.0.0.1:8002
        - http://127.0.0.1:8003

此配置将上述API实例聚合为索引分片。数据在索引时均匀分布在每个分片中。查询针对每个分片并行运行，结果合并在一起。这种方法支持水平扩展，并支持非常大的索引集群。

此方法仅推荐用于10亿条记录以上的数据集。近似最近邻（ANN）库可以轻松支持较小的数据规模，这种方法不值得增加额外的复杂性。目前，初始索引构建后无法添加新的分片。

请参阅以下链接，了解有关分布式嵌入集群的详细示例。

笔记本	描述
分布式嵌入集群	将嵌入索引分布在多个数据节点上