正确性评估器¶

这个笔记本使用CorrectnessEvaluator来评估生成的答案与参考答案之间的相关性和正确性。

如果您在colab上打开这个笔记本，您可能需要安装LlamaIndex 🦙。

In [ ]:

%pip install llama-index-llms-openai

%pip install llama-index-llms-openai

In [ ]:

!pip install llama-index

!pip install llama-index

In [ ]:

from llama_index.core.evaluation import CorrectnessEvaluator
from llama_index.llms.openai import OpenAI

from llama_index.core.evaluation import CorrectnessEvaluator from llama_index.llms.openai import OpenAI

In [ ]:

llm = OpenAI("gpt-4")
evaluator = CorrectnessEvaluator(llm=llm)

llm = OpenAI("gpt-4") evaluator = CorrectnessEvaluator(llm=llm)

In [ ]:

query = (    "你能详细解释一下阿尔伯特·爱因斯坦提出的相对论吗？")reference = """当然！阿尔伯特·爱因斯坦的相对论包括两个主要组成部分：特殊相对论和广义相对论。特殊相对论于1905年发表，引入了物理定律对于所有非加速观察者都是相同的概念，并且真空中光的速度是一个恒定值，不受光源或观察者运动的影响。它还引出了著名的方程E=mc²，将能量（E）和质量（m）联系起来。广义相对论于1915年发表，将这些思想扩展到包括重力的影响。根据广义相对论，重力不是牛顿引力理论描述的物体之间的力，而是由质量和能量扭曲时空而产生的结果。大质量物体，如行星和恒星，在时空中造成了曲率，而较小的物体则响应这种曲率而沿着弯曲的路径运动。这个概念通常用一个重球放在橡胶片上的类比来说明，重球造成了一个凹陷，其他物体（代表较小质量）自然而然地朝向这个凹陷移动。总的来说，广义相对论提供了对重力的新理解，解释了像重力透镜效应和水星轨道进动等现象。它已经通过许多实验和观测得到证实，并成为现代物理学中的基本理论。"""response = """当然！阿尔伯特·爱因斯坦的相对论包括两个主要组成部分：特殊相对论和广义相对论。特殊相对论于1905年发表，引入了物理定律对于所有非加速观察者都是相同的概念，并且真空中光的速度是一个恒定值，不受光源或观察者运动的影响。它还引出了著名的方程E=mc²，将能量（E）和质量（m）联系起来。然而，广义相对论于1915年发表，将这些思想扩展到包括磁效应的影响。根据广义相对论，重力不是牛顿引力理论描述的物体之间的力，而是由磁场扭曲时空而产生的结果。大质量物体，如行星和恒星，产生磁场造成了时空的曲率，而较小的物体则响应这种磁曲率而沿着弯曲的路径运动。这个概念通常用一个放在带有磁铁的橡胶片上的重球的类比来说明，重球造成了一个凹陷，其他物体（代表较小质量）由于磁吸引力自然而然地朝向这个凹陷移动。"""

query = ( "你能详细解释一下阿尔伯特·爱因斯坦提出的相对论吗？")reference = """当然！阿尔伯特·爱因斯坦的相对论包括两个主要组成部分：特殊相对论和广义相对论。特殊相对论于1905年发表，引入了物理定律对于所有非加速观察者都是相同的概念，并且真空中光的速度是一个恒定值，不受光源或观察者运动的影响。它还引出了著名的方程E=mc²，将能量（E）和质量（m）联系起来。广义相对论于1915年发表，将这些思想扩展到包括重力的影响。根据广义相对论，重力不是牛顿引力理论描述的物体之间的力，而是由质量和能量扭曲时空而产生的结果。大质量物体，如行星和恒星，在时空中造成了曲率，而较小的物体则响应这种曲率而沿着弯曲的路径运动。这个概念通常用一个重球放在橡胶片上的类比来说明，重球造成了一个凹陷，其他物体（代表较小质量）自然而然地朝向这个凹陷移动。总的来说，广义相对论提供了对重力的新理解，解释了像重力透镜效应和水星轨道进动等现象。它已经通过许多实验和观测得到证实，并成为现代物理学中的基本理论。"""response = """当然！阿尔伯特·爱因斯坦的相对论包括两个主要组成部分：特殊相对论和广义相对论。特殊相对论于1905年发表，引入了物理定律对于所有非加速观察者都是相同的概念，并且真空中光的速度是一个恒定值，不受光源或观察者运动的影响。它还引出了著名的方程E=mc²，将能量（E）和质量（m）联系起来。然而，广义相对论于1915年发表，将这些思想扩展到包括磁效应的影响。根据广义相对论，重力不是牛顿引力理论描述的物体之间的力，而是由磁场扭曲时空而产生的结果。大质量物体，如行星和恒星，产生磁场造成了时空的曲率，而较小的物体则响应这种磁曲率而沿着弯曲的路径运动。这个概念通常用一个放在带有磁铁的橡胶片上的重球的类比来说明，重球造成了一个凹陷，其他物体（代表较小质量）由于磁吸引力自然而然地朝向这个凹陷移动。"""

In [ ]:

result = evaluator.evaluate(
    query=query,
    response=response,
    reference=reference,
)

result = evaluator.evaluate( query=query, response=response, reference=reference, )

In [ ]:

result.score

result.score

Out[ ]:

2.5

In [ ]:

result.feedback

result.feedback

Out[ ]:

'The generated answer is relevant to the user query as it attempts to explain the theory of relativity proposed by Albert Einstein. However, it contains significant mistakes. The explanation of general relativity is incorrect. General relativity is about the warping of space and time by mass and energy, not magnetic fields. The analogy used in the generated answer is also incorrect as it introduces magnets, which are not part of the original analogy or the theory of general relativity. These errors significantly affect the correctness of the information provided.'