caches

警告

测试版功能！

缓存为LLMs提供了一个可选的缓存层。

缓存之所以有用，有两个原因：

• 它可以通过减少您向LLM提供商发出的API调用次数来节省资金，如果您经常多次请求相同的完成。

• 它可以通过减少向LLM提供商发出的API调用次数来加速您的应用程序。

缓存直接与内存竞争。请参阅文档了解优缺点。

类层次结构：

BaseCache --> <name>Cache  # Examples: InMemoryCache, RedisCache, GPTCache

类

caches.BaseCache()	用于LLMs和聊天模型的缓存层接口。
caches.InMemoryCache(*[, maxsize])	缓存，将内容存储在内存中。