Skip to content

Trulens eval packs

TruLensHarmlessPack #

Bases: BaseLlamaPack

TruLens-Eval Harmless LlamaPack 展示了如何对 LlamaIndex 查询引擎进行仪器化和评估。它启动一个日志数据库并在后台启动一个仪表板，对输入节点列表构建索引，并实例化和仪器化一个查询引擎。它还实例化了一套无害评估，以便对查询进行记录和评估其无害性。

注意：使用此 LlamaPack 需要通过 OPENAI_API_KEY 和 HUGGINGFACE_API_KEY 环境变量设置您的 OpenAI 和 HuggingFace API 密钥。

Source code in llama_index/packs/trulens_eval_packs/base.py 
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
class TruLensHarmlessPack(BaseLlamaPack):
    """TruLens-Eval Harmless LlamaPack 展示了如何对 LlamaIndex 查询引擎进行仪器化和评估。它启动一个日志数据库并在后台启动一个仪表板，对输入节点列表构建索引，并实例化和仪器化一个查询引擎。它还实例化了一套无害评估，以便对查询进行记录和评估其无害性。

注意：使用此 LlamaPack 需要通过 OPENAI_API_KEY 和 HUGGINGFACE_API_KEY 环境变量设置您的 OpenAI 和 HuggingFace API 密钥。"""

    def __init__(
        self,
        nodes: List[TextNode],
        app_id: str,
        **kwargs: Any,
    ) -> None:
        """初始化TruLensEvalPack的新实例。

Args:
    nodes（List[TextNode]）：用于构建索引的节点输入列表。
    app_id（str）：TruLensEvalPack的应用程序ID。
"""
        try:
            from trulens_eval import Feedback, Tru, TruLlama
            from trulens_eval.feedback.provider.openai import OpenAI
        except ImportError:
            raise ImportError(
                "The trulens-eval package could not be found. "
                "Please install with `pip install trulens-eval`."
            )
        self.app_id = app_id
        self._tru = Tru()
        self._tru.run_dashboard()
        self._index = VectorStoreIndex(nodes, **kwargs)
        self._query_engine = self._index.as_query_engine()

        # Initialize provider class
        provider = OpenAI()

        # LLM-based feedback functions
        f_controversiality = Feedback(
            provider.controversiality_with_cot_reasons,
            name="Criminality",
            higher_is_better=False,
        ).on_output()
        f_criminality = Feedback(
            provider.criminality_with_cot_reasons,
            name="Controversiality",
            higher_is_better=False,
        ).on_output()
        f_insensitivity = Feedback(
            provider.insensitivity_with_cot_reasons,
            name="Insensitivity",
            higher_is_better=False,
        ).on_output()
        f_maliciousness = Feedback(
            provider.maliciousness_with_cot_reasons,
            name="Maliciousness",
            higher_is_better=False,
        ).on_output()

        # Moderation feedback functions
        f_hate = Feedback(
            provider.moderation_hate, name="Hate", higher_is_better=False
        ).on_output()
        f_hatethreatening = Feedback(
            provider.moderation_hatethreatening,
            name="Hate/Threatening",
            higher_is_better=False,
        ).on_output()
        f_violent = Feedback(
            provider.moderation_violence, name="Violent", higher_is_better=False
        ).on_output()
        f_violentgraphic = Feedback(
            provider.moderation_violencegraphic,
            name="Violent/Graphic",
            higher_is_better=False,
        ).on_output()
        f_selfharm = Feedback(
            provider.moderation_selfharm, name="Self Harm", higher_is_better=False
        ).on_output()

        harmless_feedbacks = [
            f_controversiality,
            f_criminality,
            f_insensitivity,
            f_maliciousness,
            f_hate,
            f_hatethreatening,
            f_violent,
            f_violentgraphic,
            f_selfharm,
        ]

        self._tru_query_engine = TruLlama(
            self._query_engine, app_id=app_id, feedbacks=harmless_feedbacks
        )

    def get_modules(self) -> Dict[str, Any]:
        """返回一个包含LlamaPack内部信息的字典。

返回：
    Dict[str, Any]: 包含LlamaPack内部信息的字典。
"""
        return {
            "session": self._tru,
            "index": self._index,
            "tru_query_engine": self._tru_query_engine,
            "query_engine": self._query_engine,
        }

    def run(self, *args: Any, **kwargs: Any) -> Any:
        """对索引运行查询。

返回：
    任何：来自查询引擎的响应。
"""
        with self._tru_query_engine as _:
            return self._query_engine.query(*args, **kwargs)

get_modules #

get_modules() -> Dict[str, Any]

返回一个包含LlamaPack内部信息的字典。

返回： Dict[str, Any]: 包含LlamaPack内部信息的字典。

Source code in llama_index/packs/trulens_eval_packs/base.py 
196
197
198
199
200
201
202
203
204
205
206
207
    def get_modules(self) -> Dict[str, Any]:
        """返回一个包含LlamaPack内部信息的字典。

返回：
    Dict[str, Any]: 包含LlamaPack内部信息的字典。
"""
        return {
            "session": self._tru,
            "index": self._index,
            "tru_query_engine": self._tru_query_engine,
            "query_engine": self._query_engine,
        }

run #

run(*args: Any, **kwargs: Any) -> Any

对索引运行查询。

返回： 任何：来自查询引擎的响应。

Source code in llama_index/packs/trulens_eval_packs/base.py 
209
210
211
212
213
214
215
216
    def run(self, *args: Any, **kwargs: Any) -> Any:
        """对索引运行查询。

返回：
    任何：来自查询引擎的响应。
"""
        with self._tru_query_engine as _:
            return self._query_engine.query(*args, **kwargs)

TruLensHelpfulPack #

Bases: BaseLlamaPack

TruLens-Eval Helpful LlamaPack 展示了如何对 LlamaIndex 查询引擎进行仪器化和评估。它启动一个日志数据库并在后台启动一个仪表板，对输入的节点列表构建索引，并实例化和仪器化一个查询引擎。它还实例化了一套有用的评估，以便对查询进行记录和评估其有用性。

注意：使用此 LlamaPack 需要设置 OPENAI_API_KEY 和 HUGGINGFACE_API_KEY 环境变量为您的 OpenAI 和 HuggingFace API 密钥。

Source code in llama_index/packs/trulens_eval_packs/base.py 
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
class TruLensHelpfulPack(BaseLlamaPack):
    """TruLens-Eval Helpful LlamaPack 展示了如何对 LlamaIndex 查询引擎进行仪器化和评估。它启动一个日志数据库并在后台启动一个仪表板，对输入的节点列表构建索引，并实例化和仪器化一个查询引擎。它还实例化了一套有用的评估，以便对查询进行记录和评估其有用性。

注意：使用此 LlamaPack 需要设置 OPENAI_API_KEY 和 HUGGINGFACE_API_KEY 环境变量为您的 OpenAI 和 HuggingFace API 密钥。"""

    def __init__(
        self,
        nodes: List[TextNode],
        app_id: str,
        **kwargs: Any,
    ) -> None:
        """初始化TruLensEvalPack的新实例。

Args:
    nodes（List[TextNode]）：用于构建索引的节点输入列表。
    app_id（str）：TruLensEvalPack的应用程序ID。
"""
        try:
            from trulens_eval import Feedback, Tru, TruLlama
            from trulens_eval.feedback.provider.hugs import Huggingface
            from trulens_eval.feedback.provider.openai import OpenAI
        except ImportError:
            raise ImportError(
                "The trulens-eval package could not be found. "
                "Please install with `pip install trulens-eval`."
            )
        self.app_id = app_id
        self._tru = Tru()
        self._tru.run_dashboard()
        self._index = VectorStoreIndex(nodes, **kwargs)
        self._query_engine = self._index.as_query_engine()

        # Initialize provider class
        provider = OpenAI()

        hugs_provider = Huggingface()

        # LLM-based feedback functions
        f_coherence = Feedback(
            provider.coherence_with_cot_reasons, name="Coherence"
        ).on_output()
        f_input_sentiment = Feedback(
            provider.sentiment_with_cot_reasons, name="Input Sentiment"
        ).on_input()
        f_output_sentiment = Feedback(
            provider.sentiment_with_cot_reasons, name="Output Sentiment"
        ).on_output()
        f_langmatch = Feedback(
            hugs_provider.language_match, name="Language Match"
        ).on_input_output()

        helpful_feedbacks = [
            f_coherence,
            f_input_sentiment,
            f_output_sentiment,
            f_langmatch,
        ]

        self._tru_query_engine = TruLlama(
            self._query_engine, app_id=app_id, feedbacks=helpful_feedbacks
        )

    def get_modules(self) -> Dict[str, Any]:
        """返回一个包含LlamaPack内部信息的字典。

返回：
    Dict[str, Any]: 包含LlamaPack内部信息的字典。
"""
        return {
            "session": self._tru,
            "index": self._index,
            "tru_query_engine": self._tru_query_engine,
            "query_engine": self._query_engine,
        }

    def run(self, *args: Any, **kwargs: Any) -> Any:
        """对索引运行查询。

返回：
    任何：来自查询引擎的响应。
"""
        with self._tru_query_engine as _:
            return self._query_engine.query(*args, **kwargs)

get_modules #

get_modules() -> Dict[str, Any]

返回一个包含LlamaPack内部信息的字典。

返回： Dict[str, Any]: 包含LlamaPack内部信息的字典。

Source code in llama_index/packs/trulens_eval_packs/base.py 
281
282
283
284
285
286
287
288
289
290
291
292
    def get_modules(self) -> Dict[str, Any]:
        """返回一个包含LlamaPack内部信息的字典。

返回：
    Dict[str, Any]: 包含LlamaPack内部信息的字典。
"""
        return {
            "session": self._tru,
            "index": self._index,
            "tru_query_engine": self._tru_query_engine,
            "query_engine": self._query_engine,
        }

run #

run(*args: Any, **kwargs: Any) -> Any

对索引运行查询。

返回： 任何：来自查询引擎的响应。

Source code in llama_index/packs/trulens_eval_packs/base.py 
294
295
296
297
298
299
300
301
    def run(self, *args: Any, **kwargs: Any) -> Any:
        """对索引运行查询。

返回：
    任何：来自查询引擎的响应。
"""
        with self._tru_query_engine as _:
            return self._query_engine.query(*args, **kwargs)

TruLensRAGTriadPack #

Bases: BaseLlamaPack

TruLens-Eval RAG Triad LlamaPack 展示了如何对 LlamaIndex 查询引擎进行仪器化和评估。它启动一个日志数据库并在后台启动仪表板，构建一个索引，然后在该索引上实例化和仪器化查询引擎。它还实例化了 RAG 三元组（groundedness，context relevance，answer relevance），以便通过该三元组记录和评估查询，以检测幻觉。

注意：使用此 LlamaPack 需要通过 OPENAI_API_KEY 环境变量设置您的 OpenAI API 密钥。

Source code in llama_index/packs/trulens_eval_packs/base.py 
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
class TruLensRAGTriadPack(BaseLlamaPack):
    """TruLens-Eval RAG Triad LlamaPack 展示了如何对 LlamaIndex 查询引擎进行仪器化和评估。它启动一个日志数据库并在后台启动仪表板，构建一个索引，然后在该索引上实例化和仪器化查询引擎。它还实例化了 RAG 三元组（groundedness，context relevance，answer relevance），以便通过该三元组记录和评估查询，以检测幻觉。

注意：使用此 LlamaPack 需要通过 OPENAI_API_KEY 环境变量设置您的 OpenAI API 密钥。"""

    def __init__(
        self,
        nodes: List[TextNode],
        app_id: str,
        **kwargs: Any,
    ) -> None:
        """初始化TruLensEvalPack的新实例。

Args:
    nodes（List[TextNode]）：用于构建索引的节点输入列表。
    app_id（str）：TruLensEvalPack的应用程序ID。
"""
        try:
            from trulens_eval import Feedback, Tru, TruLlama
            from trulens_eval.feedback import Groundedness
            from trulens_eval.feedback.provider.openai import OpenAI
        except ImportError:
            raise ImportError(
                "The trulens-eval package could not be found. "
                "Please install with `pip install trulens-eval`."
            )
        self.app_id = app_id
        self._tru = Tru()
        self._tru.run_dashboard()
        self._index = VectorStoreIndex(nodes, **kwargs)
        self._query_engine = self._index.as_query_engine()

        import numpy as np

        # Initialize provider class
        provider = OpenAI()

        grounded = Groundedness(groundedness_provider=provider)

        # Define a groundedness feedback function
        f_groundedness = (
            Feedback(
                grounded.groundedness_measure_with_cot_reasons, name="Groundedness"
            )
            .on(TruLlama.select_source_nodes().node.text.collect())
            .on_output()
            .aggregate(grounded.grounded_statements_aggregator)
        )

        # Question/answer relevance between overall question and answer.
        f_qa_relevance = Feedback(
            provider.relevance, name="Answer Relevance"
        ).on_input_output()

        # Question/statement relevance between question and each context chunk.
        f_context_relevance = (
            Feedback(provider.qs_relevance, name="Context Relevance")
            .on_input()
            .on(TruLlama.select_source_nodes().node.text.collect())
            .aggregate(np.mean)
        )

        feedbacks = [f_groundedness, f_qa_relevance, f_context_relevance]

        self._tru_query_engine = TruLlama(
            self._query_engine, app_id=app_id, feedbacks=feedbacks
        )

    def get_modules(self) -> Dict[str, Any]:
        """返回一个包含LlamaPack内部信息的字典。

返回：
    Dict[str, Any]: 包含LlamaPack内部信息的字典。
"""
        return {
            "session": self._tru,
            "index": self._index,
            "tru_query_engine": self._tru_query_engine,
            "query_engine": self._query_engine,
        }

    def run(self, *args: Any, **kwargs: Any) -> Any:
        """对索引运行查询。

返回：
    任何：来自查询引擎的响应。
"""
        with self._tru_query_engine as _:
            return self._query_engine.query(*args, **kwargs)

get_modules #

get_modules() -> Dict[str, Any]

返回一个包含LlamaPack内部信息的字典。

返回： Dict[str, Any]: 包含LlamaPack内部信息的字典。

Source code in llama_index/packs/trulens_eval_packs/base.py 
80
81
82
83
84
85
86
87
88
89
90
91
    def get_modules(self) -> Dict[str, Any]:
        """返回一个包含LlamaPack内部信息的字典。

返回：
    Dict[str, Any]: 包含LlamaPack内部信息的字典。
"""
        return {
            "session": self._tru,
            "index": self._index,
            "tru_query_engine": self._tru_query_engine,
            "query_engine": self._query_engine,
        }

run #

run(*args: Any, **kwargs: Any) -> Any

对索引运行查询。

返回： 任何：来自查询引擎的响应。

Source code in llama_index/packs/trulens_eval_packs/base.py 
 93
 94
 95
 96
 97
 98
 99
100
    def run(self, *args: Any, **kwargs: Any) -> Any:
        """对索引运行查询。

返回：
    任何：来自查询引擎的响应。
"""
        with self._tru_query_engine as _:
            return self._query_engine.query(*args, **kwargs)