llms

LLM 类提供对大型语言模型 (LLM) API 和服务的访问。

类层次结构：

BaseLanguageModel --> BaseLLM --> LLM --> <name>  # Examples: AI21, HuggingFaceHub, OpenAI

主要助手：

LLMResult, PromptValue,
CallbackManagerForLLMRun, AsyncCallbackManagerForLLMRun,
CallbackManager, AsyncCallbackManager,
AIMessage, BaseMessage

类

llms.ai21.AI21	AI21 大型语言模型。
llms.ai21.AI21PenaltyData	AI21惩罚数据的参数。
llms.aleph_alpha.AlephAlpha	Aleph Alpha 大型语言模型。
llms.amazon_api_gateway.AmazonAPIGateway	Amazon API Gateway 用于访问托管在 AWS 上的 LLM 模型。
llms.amazon_api_gateway.ContentHandlerAmazonAPIGateway()	适配器，用于将Langchain的输入准备为LLM模型期望的格式。
llms.anyscale.Anyscale	Anyscale 大型语言模型。
llms.aphrodite.Aphrodite	Aphrodite 语言模型。
llms.arcee.Arcee	Arcee的领域适应语言模型（DALMs）。
llms.aviary.Aviary	Aviary 托管的模型。
llms.aviary.AviaryBackend(backend_url, bearer)	Aviary 后端。
llms.azureml_endpoint.AzureMLBaseEndpoint	Azure ML 在线端点模型。
llms.azureml_endpoint.AzureMLEndpointApiType(value)	Azure ML 端点 API 类型。
llms.azureml_endpoint.AzureMLEndpointClient(...)	AzureML 托管终端客户端。
llms.azureml_endpoint.AzureMLOnlineEndpoint	Azure ML 在线端点模型。
llms.azureml_endpoint.ContentFormatterBase()	将AzureML端点的请求和响应转换为符合所需模式。
llms.azureml_endpoint.CustomOpenAIContentFormatter()	用于使用类似OpenAI API方案的模型的内容格式化器。
llms.azureml_endpoint.DollyContentFormatter()	Dolly-v2-12b 模型的内容处理器
llms.azureml_endpoint.GPT2ContentFormatter()	GPT2的内容处理器
llms.azureml_endpoint.HFContentFormatter()	用于HuggingFace目录中的LLMs的内容处理器。
llms.azureml_endpoint.LlamaContentFormatter()	已弃用：保留以向后兼容
llms.azureml_endpoint.OSSContentFormatter()	已弃用：保留以向后兼容
llms.baichuan.BaichuanLLM	百川大语言模型。
llms.baidu_qianfan_endpoint.QianfanLLMEndpoint	百度千帆完成模型集成。
llms.bananadev.Banana	Banana 大型语言模型。
llms.baseten.Baseten	Baseten 模型
llms.beam.Beam	用于gpt2大型语言模型的Beam API。
llms.bedrock.BedrockBase	Bedrock 模型的基类。
llms.bedrock.LLMInputOutputAdapter()	适配器类，用于将Langchain的输入准备为LLM模型期望的格式。
llms.bigdl_llm.BigdlLLM	BigdlLLM模型的封装器
llms.bittensor.NIBittensorLLM	NIBittensor 大语言模型
llms.cerebriumai.CerebriumAI	CerebriumAI 大型语言模型。
llms.chatglm.ChatGLM	ChatGLM LLM 服务。
llms.chatglm3.ChatGLM3	ChatGLM3 LLM 服务。
llms.clarifai.Clarifai	Clarifai 大型语言模型。
llms.cloudflare_workersai.CloudflareWorkersAI	Cloudflare Workers AI 服务。
llms.ctransformers.CTransformers	C Transformers LLM 模型。
llms.ctranslate2.CTranslate2	CTranslate2 语言模型。
llms.deepinfra.DeepInfra	DeepInfra 模型。
llms.deepsparse.DeepSparse	Neural Magic DeepSparse LLM 接口。
llms.edenai.EdenAI	EdenAI 模型。
llms.exllamav2.ExLlamaV2	ExllamaV2 API.
llms.fake.FakeListLLM	用于测试的假LLM。
llms.fake.FakeStreamingListLLM	用于测试的假流式列表LLM。
llms.forefrontai.ForefrontAI	ForefrontAI 大型语言模型。
llms.friendli.BaseFriendli	Friendli 的基类。
llms.friendli.Friendli	Friendli 大语言模型。
llms.gigachat.GigaChat	GigaChat 大型语言模型 API。
llms.gooseai.GooseAI	GooseAI 大型语言模型。
llms.gpt4all.GPT4All	GPT4All 语言模型。
llms.gradient_ai.GradientLLM	Gradient.ai LLM 端点。
llms.gradient_ai.TrainResult	训练结果。
llms.human.HumanInputLLM	用户输入作为响应。
llms.ipex_llm.IpexLLM	IpexLLM 模型。
llms.javelin_ai_gateway.JavelinAIGateway	Javelin AI Gateway 大语言模型。
llms.javelin_ai_gateway.Params	Javelin AI Gateway LLM 的参数。
llms.koboldai.KoboldApiLLM	Kobold API 语言模型。
llms.konko.Konko	Konko AI 模型。
llms.layerup_security.LayerupSecurity	Layerup Security LLM 服务。
llms.llamacpp.LlamaCpp	llama.cpp 模型。
llms.llamafile.Llamafile	Llamafile 允许你使用单个文件分发和运行大型语言模型。
llms.manifest.ManifestWrapper	HazyResearch 的 Manifest 库。
llms.minimax.Minimax	Minimax 大型语言模型。
llms.minimax.MinimaxCommon	Minimax 大语言模型的通用参数。
llms.mlflow.Mlflow	MLflow LLM 服务。
llms.mlflow_ai_gateway.MlflowAIGateway	MLflow AI Gateway 大语言模型。
llms.mlflow_ai_gateway.Params	MLflow AI Gateway LLM 的参数。
llms.mlx_pipeline.MLXPipeline	MLX 管道 API。
llms.modal.Modal	Modal 大型语言模型。
llms.moonshot.Moonshot	Moonshot 大语言模型。
llms.moonshot.MoonshotCommon	Moonshot LLMs 的通用参数。
llms.mosaicml.MosaicML	MosaicML 大语言模型服务。
llms.nlpcloud.NLPCloud	NLPCloud 大型语言模型。
llms.oci_data_science_model_deployment_endpoint.BaseOCIModelDeployment	用于在OCI数据科学模型部署上部署的LLM的基类。
llms.oci_data_science_model_deployment_endpoint.OCIModelDeploymentLLM	部署在OCI数据科学模型部署上的LLM。
llms.oci_data_science_model_deployment_endpoint.OCIModelDeploymentTGI	OCI 数据科学模型部署 TGI 端点。
llms.oci_data_science_model_deployment_endpoint.OCIModelDeploymentVLLM	VLLM 部署在 OCI 数据科学模型部署上
llms.oci_data_science_model_deployment_endpoint.ServerError	在进行推理时遇到服务器错误时引发。
llms.oci_data_science_model_deployment_endpoint.TokenExpiredError	当令牌过期时引发。
llms.oci_generative_ai.CohereProvider()
llms.oci_generative_ai.MetaProvider()
llms.oci_generative_ai.OCIAuthType(value[, ...])	OCI 认证类型作为枚举器。
llms.oci_generative_ai.OCIGenAI	OCI 大型语言模型。
llms.oci_generative_ai.OCIGenAIBase	OCI GenAI 模型的基类
llms.oci_generative_ai.Provider()
llms.octoai_endpoint.OctoAIEndpoint	OctoAI LLM 端点 - 兼容 OpenAI。
llms.ollama.OllamaEndpointNotFoundError	当找不到Ollama端点时引发。
llms.opaqueprompts.OpaquePrompts	使用OpaquePrompts来清理提示的LLM。
llms.openai.BaseOpenAI	基础 OpenAI 大语言模型类。
llms.openllm.OpenLLM	OpenAI兼容的API客户端，用于OpenLLM服务器
llms.openlm.OpenLM	OpenLM 模型。
llms.outlines.Outlines	Outlines库的LLM包装器。
llms.pai_eas_endpoint.PaiEasEndpoint	Langchain LLM 类，用于帮助访问 eass llm 服务。
llms.petals.Petals	Petals 开花模型。
llms.pipelineai.PipelineAI	PipelineAI 大型语言模型。
llms.predibase.Predibase	使用您的Predibase模型与Langchain。
llms.promptlayer_openai.PromptLayerOpenAI	PromptLayer OpenAI 大型语言模型。
llms.promptlayer_openai.PromptLayerOpenAIChat	PromptLayer OpenAI 大型语言模型。
llms.replicate.Replicate	Replicate 模型。
llms.rwkv.RWKV	RWKV 语言模型。
llms.sagemaker_endpoint.ContentHandlerBase()	用于将LLM的输入转换为SageMaker端点期望的格式的处理类。
llms.sagemaker_endpoint.LLMContentHandler()	LLM 类的内容处理器。
llms.sagemaker_endpoint.LineIterator(stream)	解析字节流输入。
llms.sagemaker_endpoint.SagemakerEndpoint	Sagemaker 推理终端模型。
llms.sambanova.SambaNovaCloud	SambaNova 云大型语言模型。
llms.sambanova.SambaStudio	SambaStudio 大型语言模型。
llms.self_hosted.SelfHostedPipeline	在自托管的远程硬件上进行模型推理。
llms.self_hosted_hugging_face.SelfHostedHuggingFaceLLM	HuggingFace Pipeline API 用于在自托管的远程硬件上运行。
llms.solar.Solar	Solar 大型语言模型。
llms.solar.SolarCommon	Solar LLMs 的通用配置。
llms.sparkllm.SparkLLM	iFlyTek Spark 完成模型集成。
llms.stochasticai.StochasticAI	StochasticAI 大型语言模型。
llms.symblai_nebula.Nebula	Nebula 服务模型。
llms.textgen.TextGen	来自WebUI的文本生成模型。
llms.titan_takeoff.Device(value[, names, ...])	用于推理的设备，cuda 或 cpu
llms.titan_takeoff.ReaderConfig	用于在Titan Takeoff API中部署的读取器的配置。
llms.titan_takeoff.TitanTakeoff	Titan Takeoff API 语言模型。
llms.tongyi.Tongyi	通义完成模型集成。
llms.vllm.VLLM	VLLM 语言模型。
llms.vllm.VLLMOpenAI	vLLM OpenAI兼容的API客户端
llms.volcengine_maas.VolcEngineMaasBase	VolcEngineMaas 模型的基类。
llms.volcengine_maas.VolcEngineMaasLLM	volc engine maas 托管了大量模型。
llms.weight_only_quantization.WeightOnlyQuantPipeline	仅权重量化模型。
llms.writer.Writer	Writer 大型语言模型。
llms.xinference.Xinference	Xinference 大规模模型推理服务。
llms.yandex.YandexGPT	Yandex 大型语言模型。
llms.yi.YiLLM	Yi 大型语言模型。
llms.you.You	围绕You.com的对话式智能和研究API的封装器。
llms.yuan2.Yuan2	Yuan2.0 语言模型。

函数

llms.anyscale.create_llm_result(choices, ...)	从选择和提示中创建LLMResult。
llms.anyscale.update_token_usage(keys, ...)	更新令牌使用情况。
llms.aviary.get_completions(model, prompt[, ...])	从Aviary模型中获取补全。
llms.aviary.get_models()	列出可用的模型
llms.cohere.acompletion_with_retry(llm, **kwargs)	使用 tenacity 重试完成调用。
llms.cohere.completion_with_retry(llm, **kwargs)	使用tenacity重试完成调用。
llms.databricks.get_default_api_token()	获取默认的Databricks个人访问令牌。
llms.databricks.get_default_host()	获取默认的Databricks工作区主机名。
llms.databricks.get_repl_context()	如果在 Databricks 笔记本中运行，获取笔记本 REPL 上下文。
llms.fireworks.acompletion_with_retry(llm, ...)	使用tenacity重试完成调用。
llms.fireworks.acompletion_with_retry_batching(...)	使用tenacity重试完成调用。
llms.fireworks.acompletion_with_retry_streaming(...)	使用tenacity重试流式调用的完成操作。
llms.fireworks.completion_with_retry(llm, ...)	使用tenacity重试完成调用。
llms.fireworks.completion_with_retry_batching(...)	使用tenacity重试完成调用。
llms.fireworks.conditional_decorator(...)	有条件地应用装饰器。
llms.google_palm.completion_with_retry(llm, ...)	使用tenacity重试完成调用。
llms.koboldai.clean_url(url)	如果存在，从URL中删除尾部斜杠和/api。
llms.layerup_security.default_guardrail_violation_handler(...)	默认的护栏违规处理程序。
llms.loading.load_llm(file, **kwargs)	从文件中加载LLM。
llms.loading.load_llm_from_config(config, ...)	从配置字典加载LLM。
llms.openai.acompletion_with_retry(llm[, ...])	使用tenacity重试异步完成调用。
llms.openai.completion_with_retry(llm[, ...])	使用tenacity重试完成调用。
llms.openai.update_token_usage(keys, ...)	更新令牌使用情况。
llms.symblai_nebula.completion_with_retry(...)	使用tenacity重试完成调用。
llms.symblai_nebula.make_request(self, prompt)	从模型中生成文本。
llms.tongyi.agenerate_with_last_element_mark(...)	从异步可迭代对象生成元素，并返回一个布尔值指示是否为最后一个元素。
llms.tongyi.astream_generate_with_retry(llm, ...)	stream_generate_with_retry 的异步版本。
llms.tongyi.check_response(resp)	检查来自完成调用的响应。
llms.tongyi.generate_with_last_element_mark(...)	从可迭代对象生成元素，并返回一个布尔值指示是否为最后一个元素。
llms.tongyi.generate_with_retry(llm, **kwargs)	使用tenacity重试完成调用。
llms.tongyi.stream_generate_with_retry(llm, ...)	使用tenacity重试完成调用。
llms.utils.enforce_stop_tokens(text, stop)	一旦出现任何停止词，立即切断文本。
llms.vertexai.acompletion_with_retry(llm, prompt)	使用tenacity重试完成调用。
llms.vertexai.completion_with_retry(llm, prompt)	使用tenacity重试完成调用。
llms.vertexai.is_codey_model(model_name)	如果模型名称是Codey模型，则返回True。
llms.vertexai.is_gemini_model(model_name)	如果模型名称是Gemini模型，则返回True。
llms.yandex.acompletion_with_retry(llm, **kwargs)	使用 tenacity 重试异步完成调用。
llms.yandex.completion_with_retry(llm, **kwargs)	使用tenacity重试完成调用。

已弃用的类

llms.anthropic.Anthropic
llms.bedrock.Bedrock
llms.cohere.BaseCohere
llms.cohere.Cohere
llms.databricks.Databricks
llms.fireworks.Fireworks
llms.google_palm.GooglePalm
llms.huggingface_endpoint.HuggingFaceEndpoint
llms.huggingface_hub.HuggingFaceHub
llms.huggingface_pipeline.HuggingFacePipeline
llms.huggingface_text_gen_inference.HuggingFaceTextGenInference
llms.ollama.Ollama
llms.openai.AzureOpenAI
llms.openai.OpenAI
llms.openai.OpenAIChat
llms.predictionguard.PredictionGuard
llms.together.Together
llms.vertexai.VertexAI
llms.vertexai.VertexAIModelGarden
llms.watsonxllm.WatsonxLLM