langchain.evaluation.exact_match.base.ExactMatchStringEvaluator

class langchain.evaluation.exact_match.base.ExactMatchStringEvaluator(*, ignore_case: bool = False, ignore_punctuation: bool = False, ignore_numbers: bool = False, **kwargs: Any)

计算预测和参考之间的精确匹配。

>>> evaluator = ExactMatchChain()
>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="Mindy is the CTO",
    )  # 这将返回 {'score': 1.0}

>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="Mindy is the CEO",
    )  # 这将返回 {'score': 0.0}

Attributes

evaluation_name	获取评估名称。
input_keys	获取输入键。
requires_input	这个评估器不需要输入。
requires_reference	这个评估器需要一个参考。

Methods

__init__(*[, ignore_case, ...])
aevaluate_strings(*, prediction[, ...])	异步评估Chain或LLM输出，基于可选的输入和标签。
evaluate_strings(*, prediction[, reference, ...])	评估链式或LLM输出，基于可选输入和标签。

Parameters

• ignore_case (bool) –

• ignore_punctuation (bool) –

• ignore_numbers (bool) –

• kwargs (Any) –

__init__(*, ignore_case: bool = False, ignore_punctuation: bool = False, ignore_numbers: bool = False, **kwargs: Any)

Parameters

• ignore_case (bool) –

• ignore_punctuation (bool) –

• ignore_numbers (bool) –

• kwargs (Any) –

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

异步评估Chain或LLM输出，基于可选的输入和标签。

参数:

prediction (str): 要评估的LLM或chain预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

• prediction (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

评估链式或LLM输出，基于可选输入和标签。

参数:

prediction (str): 要评估的LLM或链预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 在评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

• prediction (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

Examples using ExactMatchStringEvaluator

• Alternatively