langchain_community.callbacks.whylabs_callback.WhyLabsCallbackHandler

class langchain_community.callbacks.whylabs_callback.WhyLabsCallbackHandler(logger: Logger, handler: Any)

用于记录到WhyLabs的回调处理程序。此回调处理程序利用`langkit`从与LLM交互时的提示和响应中提取特征。这些特征可用于隔离、评估和观察随时间发生的交互，以检测与幻觉、提示工程或输出验证相关的问题。LangKit是由WhyLabs开发的LLM监控工具包。

以下是使用LangKit可以监控的一些示例： * 文本质量

• 可读性分数

• 复杂度和年级分数

• 文本相关性 - 提示/响应之间的相似性分数 - 与用户定义主题的相似性分数 - 主题分类

• 安全性和隐私性 - 模式 - 与用户定义的正则表达式模式组匹配的字符串计数 - 越狱 - 与已知越狱尝试相关的相似性分数 - 提示注入 - 与已知提示攻击相关的相似性分数 - 拒绝 - 与已知LLM拒绝响应相关的相似性分数

• 情感和毒性 - 情感分析 - 毒性分析

有关更多信息，请参阅https://docs.whylabs.ai/docs/language-model-monitoring 或查看LangKit存储库：https://github.com/whylabs/langkit

— 参数：

api_key（可选[str]）：WhyLabs API密钥。可选，因为指定API密钥的首选方式是使用环境变量WHYLABS_API_KEY。 org_id（可选[str]）：要将配置文件写入的WhyLabs组织ID。可选，因为指定组织ID的首选方式是使用环境变量WHYLABS_DEFAULT_ORG_ID。 dataset_id（可选[str]）：要将配置文件写入的WhyLabs数据集ID。可选，因为指定数据集ID的首选方式是使用环境变量WHYLABS_DEFAULT_DATASET_ID。 sentiment（bool）：是否启用情感分析。默认为False。 toxicity（bool）：是否启用毒性分析。默认为False。 themes（bool）：是否启用主题分析。默认为False。

初始化滚动记录器。

Attributes

ignore_agent	是否忽略代理回调。
ignore_chain	是否忽略链式回调。
ignore_chat_model	是否忽略聊天模型的回调。
ignore_llm	是否忽略LLM回调。
ignore_retriever	是否忽略检索器回调函数。
ignore_retry	是否忽略重试回调。
raise_error
run_inline

Methods

__init__(logger, handler)	初始化滚动记录器。
close()	关闭任何记录器，以便在退出之前写出任何配置文件。
flush()	如果使用滚动记录器，请明确地写入当前配置文件。
from_params(*[, api_key, org_id, ...])	从参数中实例化whylogs Logger。
on_agent_action(action, *, run_id[, ...])	在代理程序上运行的动作。
on_agent_finish(finish, *, run_id[, ...])	在代理端运行。
on_chain_end(outputs, *, run_id[, parent_run_id])	当链结束运行时运行。
on_chain_error(error, *, run_id[, parent_run_id])	当链式错误时运行。
on_chain_start(serialized, inputs, *, run_id)	当链开始运行时运行。
on_chat_model_start(serialized, messages, *, ...)	当聊天模型开始运行时运行。
on_llm_end(response, *, run_id[, parent_run_id])	当LLM运行结束时运行。
on_llm_error(error, *, run_id[, parent_run_id])	当LLM出现错误时运行。 参数： error (BaseException): 发生的错误。 kwargs (Any): 附加的关键字参数。 - response (LLMResult): 在错误发生之前生成的响应。
on_llm_new_token(token, *[, chunk, ...])	在新的LLM令牌上运行。仅在启用流式传输时可用。
on_llm_start(serialized, prompts, *, run_id)	LLM 启动时运行。
on_retriever_end(documents, *, run_id[, ...])	当Retriever运行结束时运行。
on_retriever_error(error, *, run_id[, ...])	当Retriever出错时运行。
on_retriever_start(serialized, query, *, run_id)	当Retriever开始运行时运行。
on_retry(retry_state, *, run_id[, parent_run_id])	在重试事件上运行。
on_text(text, *, run_id[, parent_run_id])	在任意文本上运行。
on_tool_end(output, *, run_id[, parent_run_id])	当工具运行结束时运行。
on_tool_error(error, *, run_id[, parent_run_id])	当工具发生错误时运行。
on_tool_start(serialized, input_str, *, run_id)	当工具开始运行时运行。

Parameters

• logger (Logger) –

• handler (Any) –

__init__(logger: Logger, handler: Any)

初始化滚动记录器。

Parameters

• logger (Logger) –

• handler (Any) –

close() → None

关闭任何记录器，以便在退出之前写出任何配置文件。

Return type

None

flush() → None

如果使用滚动记录器，请明确地写入当前配置文件。

Return type

None

classmethod from_params(*, api_key: Optional[str] = None, org_id: Optional[str] = None, dataset_id: Optional[str] = None, sentiment: bool = False, toxicity: bool = False, themes: bool = False, logger: Optional[Logger] = None) → WhyLabsCallbackHandler

从参数中实例化whylogs Logger。

参数：

api_key（可选[str]）：WhyLabs API密钥。可选，因为指定API密钥的首选方式是使用环境变量WHYLABS_API_KEY。 org_id（可选[str]）：要将配置文件写入的WhyLabs组织ID。如果未设置，则必须在环境变量WHYLABS_DEFAULT_ORG_ID中指定。 dataset_id（可选[str]）：此回调正在收集遥测数据的模型或数据集。如果未设置，则必须在环境变量WHYLABS_DEFAULT_DATASET_ID中指定。 sentiment（bool）：如果为True，将初始化一个模型以执行情感分析复合分数。默认为False，不会收集此指标。 toxicity（bool）：如果为True，将初始化一个模型以评分毒性。默认为False，不会收集此指标。 themes（bool）：如果为True，将初始化一个模型以计算到配置主题的距离。默认为None，不会收集此指标。 logger（可选[Logger]）：如果指定，将绑定配置的记录器作为遥测收集代理。默认为LangKit模式，带有定期的WhyLabs写入器。

Parameters

• api_key (Optional[str]) –

• org_id (Optional[str]) –

• dataset_id (Optional[str]) –

• sentiment (bool) –

• toxicity (bool) –

• themes (bool) –

• logger (Optional[Logger]) –

Return type

WhyLabsCallbackHandler

on_agent_action(action: AgentAction, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在代理程序上运行的动作。

Parameters

• action (AgentAction) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_agent_finish(finish: AgentFinish, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在代理端运行。

Parameters

• finish (AgentFinish) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_chain_end(outputs: Dict[str, Any], *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当链结束运行时运行。

Parameters

• outputs (Dict[str, Any]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_chain_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当链式错误时运行。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_chain_start(serialized: Dict[str, Any], inputs: Dict[str, Any], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

当链开始运行时运行。

Parameters

• serialized (Dict[str, Any]) –

• inputs (Dict[str, Any]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

on_chat_model_start(serialized: Dict[str, Any], messages: List[List[BaseMessage]], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

当聊天模型开始运行时运行。

注意 : 此方法用于聊天模型。如果您正在为非聊天模型实现处理程序，则应改用on_llm_start。

Parameters

• serialized (Dict[str, Any]) –

• messages (List[List[BaseMessage]]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

on_llm_end(response: LLMResult, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当LLM运行结束时运行。

Parameters

• response (LLMResult) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_llm_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当LLM出现错误时运行。 参数：

error (BaseException): 发生的错误。 kwargs (Any): 附加的关键字参数。

• response (LLMResult): 在错误发生之前生成的响应。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_llm_new_token(token: str, *, chunk: Optional[Union[GenerationChunk, ChatGenerationChunk]] = None, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在新的LLM令牌上运行。仅在启用流式传输时可用。

参数：

token（str）：新令牌。 chunk（GenerationChunk | ChatGenerationChunk）：新生成的块，包含内容和其他信息。

Parameters

• token (str) –

• chunk (Optional[Union[GenerationChunk, ChatGenerationChunk]]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_llm_start(serialized: Dict[str, Any], prompts: List[str], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

LLM 启动时运行。

注意 : 当前方法用于非聊天模型（常规 LLM）。如果您正在为聊天模型实现处理程序，则应该使用 on_chat_model_start。

Parameters

• serialized (Dict[str, Any]) –

• prompts (List[str]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

on_retriever_end(documents: Sequence[Document], *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当Retriever运行结束时运行。

Parameters

• documents (Sequence[Document]) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_retriever_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当Retriever出错时运行。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_retriever_start(serialized: Dict[str, Any], query: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

当Retriever开始运行时运行。

Parameters

• serialized (Dict[str, Any]) –

• query (str) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

on_retry(retry_state: RetryCallState, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在重试事件上运行。

Parameters

• retry_state (RetryCallState) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_text(text: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

在任意文本上运行。

Parameters

• text (str) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_tool_end(output: Any, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当工具运行结束时运行。

Parameters

• output (Any) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_tool_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) → Any

当工具发生错误时运行。

Parameters

• error (BaseException) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• kwargs (Any) –

Return type

Any

on_tool_start(serialized: Dict[str, Any], input_str: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, inputs: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any

当工具开始运行时运行。

Parameters

• serialized (Dict[str, Any]) –

• input_str (str) –

• run_id (UUID) –

• parent_run_id (Optional[UUID]) –

• tags (Optional[List[str]]) –

• metadata (Optional[Dict[str, Any]]) –

• inputs (Optional[Dict[str, Any]]) –

• kwargs (Any) –

Return type

Any

Examples using WhyLabsCallbackHandler

• you don’t need to call close to write profiles to WhyLabs, upload will occur periodically, but to demo let’s not wait.