Skip to main content
Open on GitHub

LlamaEdge

LlamaEdge 是在本地或边缘运行定制和微调的大型语言模型（LLMs）的最简单和最快的方式。

  • 轻量级推理应用。LlamaEdge的大小是MB级别而不是GB级别
  • 原生和GPU加速性能
  • 支持多种GPU和硬件加速器
  • 支持许多优化的推理库
  • 广泛的AI / LLM模型选择

安装与设置​

查看安装说明。

聊天模型​

查看一个使用示例。

from langchain_community.chat_models.llama_edge import LlamaEdgeChatService
API Reference:LlamaEdgeChatService

这个页面有帮助吗？