DeepSparse
本页面介绍了如何在LangChain中使用DeepSparse推理运行时。 它分为两部分：安装和设置，然后是DeepSparse使用的示例。
安装与设置
- 使用
pip install deepsparse安装 Python 包 - 选择一个SparseZoo模型或将支持模型导出为ONNX 使用Optimum
存在一个DeepSparse LLM包装器，它为所有模型提供了一个统一的接口：
from langchain_community.llms import DeepSparse
llm = DeepSparse(
model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none"
)
print(llm.invoke("def fib():"))
API Reference:DeepSparse
可以使用config参数传递额外的参数：
config = {"max_generated_tokens": 256}
llm = DeepSparse(
model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none",
config=config,
)
相关
- LLM 概念指南
- LLM how-to guides