llamafile

llamafile 允许你使用单个文件分发和运行LLMs。

llamafile 使得开源LLM对开发者和最终用户都更加易于访问。 llamafile 通过将 llama.cpp 与 Cosmopolitan Libc 结合到一个框架中，将LLM的所有复杂性简化为一个单文件可执行文件（称为“llamafile”）， 该文件可以在大多数计算机上本地运行，无需安装。

安装与设置​

查看安装说明。

大型语言模型​

查看使用示例。

from langchain_community.llms.llamafile import Llamafile

嵌入模型​

查看使用示例。

from langchain_community.embeddings import LlamafileEmbeddings