基础OCI模型部署#
- class langchain_community.llms.oci_data_science_model_deployment_endpoint.BaseOCIModelDeployment[来源]#
基础类：
Serializable部署在OCI数据科学模型部署上的LLM的基类。
- param auth: dict [Optional]#
用于OCI认证的ADS认证字典： https://accelerated-data-science.readthedocs.io/en/latest/user_guide/cli/authentication.html。 这可以通过调用ads.common.auth.api_keys() 或ads.common.auth.resource_principal()生成。如果未提供， 则将使用ads.common.default_signer()。
- param default_headers: Dict[str, Any] | None = None#
要添加到模型部署请求的头部信息。
- param endpoint: str = ''#
已部署模型部署模型的端点的URI。
- param max_retries: int = 3#
生成时的最大重试次数。
- param streaming: bool = False#
是否流式传输结果。
- async acompletion_with_retry(run_manager: AsyncCallbackManagerForLLMRun | None = None, **kwargs: Any) Any[source]#
使用tenacity重试异步完成调用。
- Parameters:
run_manager (AsyncCallbackManagerForLLMRun | None)
kwargs (Any)
- Return type:
任何
- completion_with_retry(run_manager: CallbackManagerForLLMRun | None = None, **kwargs: Any) Any[source]#
使用tenacity重试完成调用。
- Parameters:
run_manager (CallbackManagerForLLMRun | None)
kwargs (Any)
- Return type:
任何