langchain_community.callbacks.uptrain_callback.UpTrainCallbackHandler

class langchain_community.callbacks.uptrain_callback.UpTrainCallbackHandler(*, project_name: str = 'langchain', key_type: str = 'openai', api_key: str = 'sk-****************', model: str = 'gpt-3.5-turbo', log_results: bool = True)

回调处理程序，将评估结果记录到UpTrain和控制台。

参数:

project_name (str): 在UpTrain仪表板中显示的项目名称。 key_type (str): 要使用的密钥类型。必须是’uptrain’或’openai’。 api_key (str): UpTrain或OpenAI API的API密钥。 （此密钥用于使用GPT进行评估。）

引发:

ValueError: 如果密钥类型无效。 ImportError: 如果未安装`uptrain`包。

初始化`UpTrainCallbackHandler`。

Attributes

ignore_agent	是否忽略代理回调。
ignore_chain	是否忽略链式回调。
ignore_chat_model	是否忽略聊天模型的回调。
ignore_llm	是否忽略LLM回调。
ignore_retriever	是否忽略检索器回调函数。
ignore_retry	是否忽略重试回调。
raise_error
run_inline

Methods

__init__(*[, project_name, key_type, ...])	初始化`UpTrainCallbackHandler`。
on_agent_action(action, *, run_id[, ...])	在代理程序上运行的动作。
on_agent_finish(finish, *, run_id[, ...])	在代理端运行。
on_chain_end(outputs, *, run_id[, parent_run_id])	当链结束运行时运行。
on_chain_error(error, *, run_id[, parent_run_id])	当链式错误时运行。
on_chain_start(serialized, inputs, *, run_id)	当链条开始时不执行任何操作
on_chat_model_start(serialized, messages, *, ...)	当聊天模型开始运行时运行。
on_llm_end(response, *, run_id[, parent_run_id])	当LLM结束时，将日志记录到uptrain。
on_llm_error(error, *, run_id[, parent_run_id])	当LLM出现错误时运行。 参数： error (BaseException): 发生的错误。 kwargs (Any): 附加的关键字参数。 - response (LLMResult): 在错误发生之前生成的响应。
on_llm_new_token(token, *[, chunk, ...])	在新的LLM令牌上运行。仅在启用流式传输时可用。
on_llm_start(serialized, prompts, *, run_id)	LLM 启动时运行。
on_retriever_end(documents, *, run_id[, ...])	当Retriever运行结束时运行。
on_retriever_error(error, *, run_id[, ...])	当Retriever出错时运行。
on_retriever_start(serialized, query, *, run_id)	当Retriever开始运行时运行。
on_retry(retry_state, *, run_id[, parent_run_id])	在重试事件上运行。
on_text(text, *, run_id[, parent_run_id])	在任意文本上运行。
on_tool_end(output, *, run_id[, parent_run_id])	当工具运行结束时运行。
on_tool_error(error, *, run_id[, parent_run_id])	当工具发生错误时运行。
on_tool_start(serialized, input_str, *, run_id)	当工具开始运行时运行。
uptrain_evaluate(evaluation_name, data, checks)	在UpTrain客户端上对UpTrain服务器进行评估。

Parameters

• project_name (str) –

• key_type (str) –

• api_key (str) –

• model (str) –

• log_results (bool) –

Return type

None

__init__(*, project_name: str = 'langchain', key_type: str = 'openai', api_key: str = 'sk-****************', model: str = 'gpt-3.5-turbo', log_results: bool = True) → None

初始化`UpTrainCallbackHandler`。

Parameters

• project_name (str) –

• key_type (str) –

• api_key (str) –

• model (str) –

• log_results (bool) –

Return type

None

on_agent_action(action: AgentAction, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在代理程序上运行的动作。

Parameters

• action (AgentAction) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_agent_finish(finish: AgentFinish, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在代理端运行。

Parameters

• finish (AgentFinish) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_chain_end(outputs: Dict[str, Any], *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当链结束运行时运行。

Parameters

• outputs (Dict[str, Any]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_chain_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当链式错误时运行。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_chain_start(serialized: Dict[str, Any], inputs: Dict[str, Any], *, run_id: UUID, tags: Optional[List[str]] = None, parent_run_id: Optional[UUID] = None, metadata: Optional[Dict[str, Any]] = None, run_type: Optional[str] = None, name: Optional[str] = None, **kwargs: Any) → None

当链条开始时不执行任何操作

Parameters

• serialized (Dict[str, Any]) –

• inputs (Dict[str, Any]) –

• run_id (UUID) –

• tags (Optional[List[str]]) –

• parent_run_id (Optional[UUID]) –

• metadata (Optional[Dict[str, Any]]) –

• run_type (Optional[str]) –

• name (Optional[str]) –

• kwargs (Any) –

Return type

None

on_chat_model_start(serialized: Dict[str, Any], messages: List[List[BaseMessage]], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

当聊天模型开始运行时运行。

注意 : 此方法用于聊天模型。如果您正在为非聊天模型实现处理程序，则应改用on_llm_start。

Parameters

• serialized (Dict[str, Any]) –

• messages (List[List[BaseMessage]]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

on_llm_end(response: LLMResult, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → None

当LLM结束时，将日志记录到uptrain。

Parameters

• response (LLMResult) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

None

on_llm_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当LLM出现错误时运行。 参数：

error (BaseException): 发生的错误。 kwargs (Any): 附加的关键字参数。

• response (LLMResult): 在错误发生之前生成的响应。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_llm_new_token(token: str, *, chunk: Optional[Union[GenerationChunk, ChatGenerationChunk]] = None, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在新的LLM令牌上运行。仅在启用流式传输时可用。

参数：

token（str）：新令牌。 chunk（GenerationChunk | ChatGenerationChunk）：新生成的块，包含内容和其他信息。

Parameters

• token (str) –

• chunk (Optional[Union[GenerationChunk, ChatGenerationChunk]]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_llm_start(serialized: Dict[str, Any], prompts: List[str], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

LLM 启动时运行。

注意 : 当前方法用于非聊天模型（常规 LLM）。如果您正在为聊天模型实现处理程序，则应该使用 on_chat_model_start。

Parameters

• serialized (Dict[str, Any]) –

• prompts (List[str]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

on_retriever_end(documents: Sequence[Document], *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当Retriever运行结束时运行。

Parameters

• documents (Sequence[Document]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_retriever_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当Retriever出错时运行。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_retriever_start(serialized: Dict[str, Any], query: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → None

当Retriever开始运行时运行。

Parameters

• serialized (Dict[str, Any]) –

• query (str) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

None

on_retry(retry_state: RetryCallState, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在重试事件上运行。

Parameters

• retry_state (RetryCallState) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_text(text: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在任意文本上运行。

Parameters

• text (str) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_tool_end(output: Any, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当工具运行结束时运行。

Parameters

• output (Any) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_tool_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当工具发生错误时运行。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_tool_start(serialized: Dict[str, Any], input_str: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, inputs: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

当工具开始运行时运行。

Parameters

• serialized (Dict[str, Any]) –

• input_str (str) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• inputs (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

uptrain_evaluate(evaluation_name: str, data: List[Dict[str, Any]], checks: List[str]) → None

在UpTrain客户端上对UpTrain服务器进行评估。

Parameters

• evaluation_name (str) –

• data (List[Dict[str, Any]]) –

• checks (List[str]) –

Return type

None

Examples using UpTrainCallbackHandler

• 1. Vanilla RAG {#vanilla-rag-1}

• UpTrain