Memcached
Memcached 是一个免费且开源的高性能分布式内存对象缓存系统，本质上是通用的，但旨在通过减轻数据库负载来加速动态Web应用程序。
本页面介绍了如何使用langchain与Memcached，使用pymemcache作为客户端连接到已经运行的Memcached实例。
安装与设置
pip install pymemcache
LLM 缓存
将Memcached缓存集成到您的应用程序中：
from langchain.globals import set_llm_cache
from langchain_openai import OpenAI
from langchain_community.cache import MemcachedCache
from pymemcache.client.base import Client
llm = OpenAI(model="gpt-3.5-turbo-instruct", n=2, best_of=2)
set_llm_cache(MemcachedCache(Client('localhost')))
# The first time, it is not yet in cache, so it should take longer
llm.invoke("Which city is the most crowded city in the USA?")
# The second time it is, so it goes faster
llm.invoke("Which city is the most crowded city in the USA?")
了解更多信息，请查看示例笔记本