25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261 | class TiDBVectorStore(BasePydanticVectorStore):
stores_text = True
flat_metadata = False
_connection_string: str = PrivateAttr()
_engine_args: Dict[str, Any] = PrivateAttr()
_tidb: Any = PrivateAttr()
def __init__(
self,
connection_string: str,
table_name: str = DEFAULT_VECTOR_TABLE_NAME,
distance_strategy: str = DEFAULT_DISTANCE_STRATEGY,
vector_dimension: int = 1536,
*,
engine_args: Optional[Dict[str, Any]] = None,
drop_existing_table: bool = False,
**kwargs: Any,
) -> None:
"""在Llama Index中使用TiDB Vector Store初始化一个灵活且标准化的表结构，用于存储向量数据，无论动态表名设置如何，该结构保持不变。
向量表结构包括：
- 'id'：每个条目的UUID。
- 'embedding'：在VectorType列中存储向量数据。
- 'document'：用于存储原始数据或附加信息的Text列。
- 'meta'：用于灵活存储元数据的JSON列。
- 'create_time' 和 'update_time'：用于跟踪数据变化的时间戳列。
该表结构适用于一般用例和复杂场景，其中表充当高级数据集成和分析的语义层，利用SQL进行连接查询。
Args:
connection_string (str)：TiDB数据库的连接字符串。
格式："mysql+pymysql://root@34.212.137.91:4000/test"。
table_name (str, 可选)：用于存储向量数据的表名。如果不提供表名，将自动创建一个名为`llama_index_vector_store`的默认表。
distance_strategy：用于相似性搜索的策略，默认为"cosine"，有效值："l2"，"cosine"。
vector_dimension：向量的维度，默认为1536。
engine_args (Optional[Dict[str, Any]], 可选)：额外的引擎参数。默认为None。
drop_existing_table：在初始化之前删除现有的TiDB表，默认为False。
**kwargs (Any)：额外的关键字参数。
抛出：
ImportError：如果未安装tidbvec python包。
"""
super().__init__(**kwargs)
self._connection_string = connection_string
self._engine_args = engine_args or {}
try:
from tidb_vector.integrations import TiDBVectorClient
except ImportError:
raise ImportError(
"Could not import tidbvec python package. "
"Please install it with `pip install tidb-vector`."
)
self._tidb = TiDBVectorClient(
connection_string=connection_string,
table_name=table_name,
distance_strategy=distance_strategy,
vector_dimension=vector_dimension,
engine_args=engine_args,
drop_existing_table=drop_existing_table,
**kwargs,
)
@property
def client(self) -> Any:
"""获取客户端。"""
return self._tidb
def drop_vectorstore(self) -> None:
"""
从TiDB数据库中删除tidb向量存储。
"""
self._tidb.drop_table()
@classmethod
def class_name(cls) -> str:
return "TiDBVectorStore"
def add(self, nodes: List[BaseNode], **add_kwargs: Any) -> List[str]:
"""向向量存储中添加节点。
Args:
nodes（List[BaseNode]）：要添加的节点列表。
**add_kwargs：要传递给底层存储的额外关键字参数。
Returns:
List[str]：已添加的节点ID列表。
"""
ids = []
metadatas = []
embeddings = []
texts = []
for node in nodes:
ids.append(node.node_id)
metadatas.append(node_to_metadata_dict(node, remove_text=True))
embeddings.append(node.get_embedding())
texts.append(node.get_content(metadata_mode=MetadataMode.NONE))
self._tidb.insert(
texts=texts,
embeddings=embeddings,
metadatas=metadatas,
ids=ids,
**add_kwargs,
)
return ids
def delete(self, ref_doc_id: str, **delete_kwargs: Any) -> None:
"""从向量存储中删除文档的所有节点。
Args:
ref_doc_id（str）：要删除的参考文档ID。
**delete_kwargs：要传递给删除方法的额外关键字参数。
Returns:
无
"""
delete_kwargs["filter"] = {"doc_id": ref_doc_id}
self._tidb.delete(**delete_kwargs)
def query(self, query: VectorStoreQuery, **kwargs: Any) -> VectorStoreQueryResult:
"""使用给定的查询嵌入执行相似性搜索。
Args:
query (VectorStoreQuery): 包含查询数据的查询对象。
**kwargs: 附加的关键字参数。
Returns:
VectorStoreQueryResult: 相似性搜索的结果。
引发:
ValueError: 如果未提供查询嵌入。
"""
if query.query_embedding is None:
raise ValueError("Query embedding must be provided.")
return self._similarity_search_with_score(
query.query_embedding,
query.similarity_top_k,
query.filters,
**kwargs,
)
def _similarity_search_with_score(
self,
embedding: List[float],
limit: int = 10,
metadata_filters: Optional[MetadataFilters] = None,
**kwargs: Any,
) -> VectorStoreQueryResult:
"""执行基于给定条件的相似性搜索，并基于相似度得分。
Args:
embedding (List[float]): 用于相似性搜索的嵌入向量。
limit (int, optional): 要返回的结果的最大数量。默认为10。
metadata_filters (Optional[MetadataFilters], optional): 要应用于元数据的过滤器。默认为None。
**kwargs (Any): 其他关键字参数。
Returns:
VectorStoreQueryResult: 相似性搜索的结果，包括节点、相似度和id。
"""
filters = self._to_tidb_filters(metadata_filters)
results = self._tidb.query(
query_vector=embedding, k=limit, filter=filters, **kwargs
)
nodes = []
similarities = []
ids = []
for row in results:
try:
node = metadata_dict_to_node(row.metadata)
node.set_content(str(row.document))
except Exception:
# NOTE: deprecated legacy logic for backward compatibility
_logger.warning(
"Failed to parse metadata dict, falling back to legacy logic."
)
node = TextNode(
id_=row.id,
text=row.document,
metadata=row.metadata,
)
similarities.append((1 - row.distance) if row.distance is not None else 0)
ids.append(row.id)
nodes.append(node)
return VectorStoreQueryResult(
nodes=nodes,
similarities=similarities,
ids=ids,
)
def _to_tidb_filters(
self, metadata_filters: Optional[MetadataFilters] = None
) -> Optional[Dict[str, Any]]:
"""将元数据过滤器转换为 TiDB 过滤器。
Args:
metadata_filters（可选[MetadataFilters]）：要转换的元数据过滤器。
Returns:
可选[Dict[str, Any]]：转换后的 TiDB 过滤器。
引发：
ValueError：如果遇到不支持的运算符。
"""
if metadata_filters is None:
return None
condition = "$and"
if metadata_filters.condition == FilterCondition.OR:
condition = "$or"
filters = []
for filter in metadata_filters.filters:
if filter.operator == FilterOperator.EQ:
filters.append({filter.key: {"$eq": filter.value}})
elif filter.operator == FilterOperator.NE:
filters.append({filter.key: {"$ne": filter.value}})
elif filter.operator == FilterOperator.GT:
filters.append({filter.key: {"$gt": filter.value}})
elif filter.operator == FilterOperator.GTE:
filters.append({filter.key: {"$gte": filter.value}})
elif filter.operator == FilterOperator.LT:
filters.append({filter.key: {"$lt": filter.value}})
elif filter.operator == FilterOperator.LTE:
filters.append({filter.key: {"$lte": filter.value}})
elif filter.operator == FilterOperator.IN:
filters.append({filter.key: {"$in": filter.value}})
elif filter.operator == FilterOperator.NIN:
filters.append({filter.key: {"$nin": filter.value}})
else:
raise ValueError(f"Unsupported operator: {filter.operator}")
return {condition: filters}
|