langchain.evaluation.regex_match.base.RegexMatchStringEvaluator

class langchain.evaluation.regex_match.base.RegexMatchStringEvaluator(*, flags: int = 0, **kwargs: Any)[source]

计算预测值和参考值之间的正则表达式匹配。

>>> evaluator = RegexMatchStringEvaluator(flags=re.IGNORECASE)
>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="^mindy.*cto$",
    )  # 由于IGNORECASE标志，将返回{'score': 1.0}

>>> evaluator = RegexMatchStringEvaluator()
>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="^Mike.*CEO$",
    )  # 将返回{'score': 0.0}

>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="^Mike.*CEO$|^Mindy.*CTO$",
    )  # 由于预测值与并集中的第二个模式匹配，将返回{'score': 1.0}

Attributes

evaluation_name

获取评估名称。

input_keys

获取输入键。

requires_input

这个评估器不需要输入。

requires_reference

这个评估器需要一个参考。

Methods

__init__(*[, flags])

aevaluate_strings(*, prediction[, ...])

异步评估Chain或LLM输出，基于可选的输入和标签。

evaluate_strings(*, prediction[, reference, ...])

评估链式或LLM输出，基于可选输入和标签。
Parameters

  • flags (int) –

  • kwargs (Any) –

__init__(*, flags: int = 0, **kwargs: Any)[source]
Parameters

  • flags (int) –

  • kwargs (Any) –

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

异步评估Chain或LLM输出，基于可选的输入和标签。

参数:

prediction (str): 要评估的LLM或chain预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

  • prediction (str) –

  • reference (Optional[str]) –

  • input (Optional[str]) –

  • kwargs (Any) –

Return type

dict

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

评估链式或LLM输出，基于可选输入和标签。

参数:

prediction (str): 要评估的LLM或链预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 在评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

  • prediction (str) –

  • reference (Optional[str]) –

  • input (Optional[str]) –

  • kwargs (Any) –

Return type

dict

Examples using RegexMatchStringEvaluator