langchain.evaluation.schema.AgentTrajectoryEvaluator

class langchain.evaluation.schema.AgentTrajectoryEvaluator

用于评估代理轨迹的接口。

Attributes

requires_input	评估器是否需要输入字符串。
requires_reference	评估器是否需要参考标签。

Methods

__init__()
aevaluate_agent_trajectory(*, prediction, ...)	异步评估一个轨迹。
evaluate_agent_trajectory(*, prediction, ...)	评估一个轨迹。

__init__()

async aevaluate_agent_trajectory(*, prediction: str, agent_trajectory: Sequence[Tuple[AgentAction, str]], input: str, reference: Optional[str] = None, **kwargs: Any) → dict

异步评估一个轨迹。

参数:

prediction (str): 最终预测的响应。 agent_trajectory (List[Tuple[AgentAction, str]]):

形成代理轨迹的中间步骤。

input (str): 代理的输入。 reference (Optional[str]): 参考答案。

返回:

dict: 评估结果。

Parameters

• prediction (str) –

• agent_trajectory (Sequence[Tuple[AgentAction, str]]) –

• input (str) –

• reference (Optional[str]) –

• kwargs (Any) –

Return type

dict

evaluate_agent_trajectory(*, prediction: str, agent_trajectory: Sequence[Tuple[AgentAction, str]], input: str, reference: Optional[str] = None, **kwargs: Any) → dict

评估一个轨迹。

参数:

prediction (str): 最终预测的响应。 agent_trajectory (List[Tuple[AgentAction, str]]):

形成代理轨迹的中间步骤。

input (str): 代理的输入。 reference (Optional[str]): 参考答案。

返回:

dict: 评估结果。

Parameters

• prediction (str) –

• agent_trajectory (Sequence[Tuple[AgentAction, str]]) –

• input (str) –

• reference (Optional[str]) –

• kwargs (Any) –

Return type

dict

Examples using AgentTrajectoryEvaluator

• custom.md