langchain_community.cache
.CassandraCache¶
- class langchain_community.cache.CassandraCache(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, table_name: str = 'langchain_llm_cache', ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, setup_mode: CassandraSetupMode = SetupMode.SYNC)[source]¶
使用Cassandra / Astra DB作为后端的缓存。
示例:
import cassio from langchain_community.cache import CassandraCache from langchain_core.globals import set_llm_cache cassio.init(auto=True) # 需要环境变量,请参阅CassIO文档 set_llm_cache(CassandraCache())
它使用单个Cassandra表。 查找键(用于形成主键)为:
prompt,一个字符串
llm_string,模型参数的确定性str表示。 (需要防止相同提示不同模型的冲突)
- 参数:
- session:一个打开的Cassandra会话。
留空以使用全局cassio初始化(见下文)
- keyspace:用于存储缓存的keyspace。
留空以使用全局cassio初始化(见下文)
table_name:用作缓存的Cassandra表的名称 ttl_seconds:缓存条目的生存时间
(默认值:None,即永久)
- setup_mode:langchain_community.utilities.cassandra.SetupMode中的一个值。
选择SYNC、ASYNC和OFF之间的值 - 如果Cassandra表已经存在,则选择OFF,以加快初始化速度。
- 注意:
当省略session和keyspace参数(或传递为None)时, 如果有全局可用的cassio设置,则会回退到全局可用的cassio设置。 换句话说,如果先前在代码的任何地方执行过’cassio.init(…)’, 则基于Cassandra的对象根本不需要指定连接参数。
Methods
__init__
([session, keyspace, table_name, ...])aclear
(**kwargs)清除缓存。这是一次性清除所有LLMs的缓存。
alookup
(prompt, llm_string)根据提示和llm_string进行查找。
aupdate
(prompt, llm_string, return_val)根据提示和llm_string更新缓存。
clear
(**kwargs)清除缓存。这是一次性清除所有LLMs的缓存。
delete
(prompt, llm_string)如果存在条目,则从缓存中驱逐。
delete_through_llm
(prompt, llm[, stop])一个围绕LLM传递的`delete`的包装器。 如果llm.invoke(prompt)调用有一个`stop`参数,你应该在这里传递它。
lookup
(prompt, llm_string)根据提示和llm_string进行查找。
update
(prompt, llm_string, return_val)根据提示和llm_string更新缓存。
- Parameters
session (Optional[CassandraSession]) –
keyspace (Optional[str]) –
table_name (str) –
ttl_seconds (Optional[int]) –
skip_provisioning (bool) –
setup_mode (CassandraSetupMode) –
- __init__(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, table_name: str = 'langchain_llm_cache', ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, setup_mode: CassandraSetupMode = SetupMode.SYNC)[source]¶
- Parameters
session (Optional[CassandraSession]) –
keyspace (Optional[str]) –
table_name (str) –
ttl_seconds (Optional[int]) –
skip_provisioning (bool) –
setup_mode (CassandraSetupMode) –
- async aclear(**kwargs: Any) None [source]¶
清除缓存。这是一次性清除所有LLMs的缓存。
- Parameters
kwargs (Any) –
- Return type
None
- async alookup(prompt: str, llm_string: str) Optional[Sequence[Generation]] [source]¶
根据提示和llm_string进行查找。
期望缓存实现从提示和llm_string的2元组中生成一个键(例如,通过使用分隔符将它们连接起来)。
- 参数:
- prompt:提示的字符串表示。
对于Chat模型,提示是将提示序列化为语言模型的非平凡表示。
- llm_string:LLM配置的字符串表示。
这用于捕获LLM的调用参数 (例如,模型名称、温度、停止标记、最大标记等)。 这些调用参数被序列化为字符串表示。
- 返回:
在缓存未命中时,返回None。在缓存命中时,返回缓存的值。 缓存的值是Generations(或子类)的列表。
- Parameters
prompt (str) –
llm_string (str) –
- Return type
Optional[Sequence[Generation]]
- async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) None [source]¶
根据提示和llm_string更新缓存。
提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。
- 参数:
- prompt:提示的字符串表示。
对于Chat模型,提示是将提示序列化为语言模型的非平凡表示。
- llm_string:LLM配置的字符串表示。
这用于捕获LLM的调用参数 (例如,模型名称、温度、停止标记、最大标记等)。 这些调用参数被序列化为字符串表示。
return_val:要缓存的值。该值是Generations的列表(或子类)。
- Parameters
prompt (str) –
llm_string (str) –
return_val (Sequence[Generation]) –
- Return type
None
- clear(**kwargs: Any) None [source]¶
清除缓存。这是一次性清除所有LLMs的缓存。
- Parameters
kwargs (Any) –
- Return type
None
- delete(prompt: str, llm_string: str) None [source]¶
如果存在条目,则从缓存中驱逐。
- Parameters
prompt (str) –
llm_string (str) –
- Return type
None
- delete_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) None [source]¶
一个围绕LLM传递的`delete`的包装器。 如果llm.invoke(prompt)调用有一个`stop`参数,你应该在这里传递它。
- Parameters
prompt (str) –
llm (LLM) –
stop (Optional[List[str]]) –
- Return type
None
- lookup(prompt: str, llm_string: str) Optional[Sequence[Generation]] [source]¶
根据提示和llm_string进行查找。
期望缓存实现从提示和llm_string的2元组中生成一个键(例如,通过使用分隔符将它们连接起来)。
- 参数:
- prompt:提示的字符串表示。
对于Chat模型,提示是将提示序列化为语言模型的非平凡表示。
- llm_string:LLM配置的字符串表示。
这用于捕获LLM的调用参数 (例如,模型名称、温度、停止标记、最大标记等)。 这些调用参数被序列化为字符串表示。
- 返回:
在缓存未命中时,返回None。在缓存命中时,返回缓存的值。 缓存的值是Generations(或子类)的列表。
- Parameters
prompt (str) –
llm_string (str) –
- Return type
Optional[Sequence[Generation]]
- update(prompt: str, llm_string: str, return_val: Sequence[Generation]) None [source]¶
根据提示和llm_string更新缓存。
提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。
- 参数:
- prompt:提示的字符串表示。
对于Chat模型,提示是将提示序列化为语言模型的非平凡表示。
- llm_string:LLM配置的字符串表示。
这用于捕获LLM的调用参数 (例如,模型名称、温度、停止标记、最大标记等)。 这些调用参数被序列化为字符串表示。
return_val:要缓存的值。该值是Generations的列表(或子类)。
- Parameters
prompt (str) –
llm_string (str) –
return_val (Sequence[Generation]) –
- Return type
None