scipy.stats.

熵#

scipy.stats.entropy(pk, qk=None, base=None, axis=0, *, nan_policy='propagate', keepdims=False)[源代码][源代码]#

计算给定分布的香农熵/相对熵。

如果只给出概率 pk，则香农熵的计算公式为 H = -sum(pk * log(pk))。

如果 qk 不是 None，则计算相对熵 D = sum(pk * log(pk / qk))。这个量也被称为 Kullback-Leibler 散度。

如果 pk 和 qk 的总和不等于 1，此例程将对它们进行归一化处理。

参数:
pkarray_like

定义了（离散）分布。在 pk 的每个轴切片中，元素 i 是事件 i 的（可能未归一化的）概率。

qk类似数组, 可选

计算相对熵所针对的序列。应与 pk 格式相同。

基础float, 可选

要使用的对数基数，默认为 ``e``（自然对数）。

轴int 或 None, 默认值: 0

如果是一个整数，表示输入数据中要计算统计量的轴。输入数据的每个轴切片（例如行）的统计量将出现在输出的相应元素中。如果为 None，则在计算统计量之前会将输入数据展平。

nan_policy{‘propagate’, ‘omit’, ‘raise’}

定义如何处理输入的 NaN。

  • propagate: 如果在计算统计量的轴切片（例如行）中存在 NaN，则输出的相应条目将为 NaN。

  • omit: 在执行计算时，NaN 将被省略。如果在计算统计量的轴切片中剩余的数据不足，则输出的相应条目将为 NaN。

  • raise: 如果存在 NaN，将引发 ValueError。

keepdimsbool, 默认值: False

如果设置为True，被减少的轴将作为尺寸为1的维度保留在结果中。通过此选项，结果将正确地与输入数组进行广播。

返回:
S{float, array_like}

计算出的熵。

注释

非正式地说，香农熵量化了离散随机变量可能结果中固有的预期不确定性。例如，如果由集合中的符号序列组成的消息要在无噪声信道上编码和传输，那么香农熵 H(pk) 给出了每个符号所需的平均信息单位数的紧密下限，前提是符号出现的频率由离散分布 pk 决定 [1]。基的选择决定了单位的选择；例如，e 表示纳特，2 表示比特等。

相对熵 D(pk|qk) 量化了如果编码针对概率分布 qk 而不是真实分布 pk 进行优化时，每个符号所需的平均信息单位数的增加。非正式地说，相对熵量化了如果人们认为真实分布是 qk 而实际上是 pk 时所经历的预期惊喜过剩。

一个相关的量，交叉熵 CE(pk, qk)，满足方程 CE(pk, qk) = H(pk) + D(pk|qk)，也可以用公式 CE = -sum(pk * log(qk)) 计算。如果编码针对概率分布 qk 进行优化，而真实分布为 pk，它给出了每个符号所需的平均信息单位数。它不是由 entropy 直接计算的，但可以通过两次调用该函数来计算（参见示例）。

更多信息请参见 [2]。

从 SciPy 1.9 开始，np.matrix 输入（不推荐用于新代码）在计算执行前被转换为 np.ndarray。在这种情况下，输出将是一个标量或适当形状的 np.ndarray，而不是一个 2D 的 np.matrix。同样，虽然掩码数组的掩码元素被忽略，但输出将是一个标量或 np.ndarray，而不是一个 mask=False 的掩码数组。

参考文献

[1]

Shannon, C.E. (1948), 通信的数学理论。贝尔系统技术期刊, 27: 379-423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x

[2]

Thomas M. Cover 和 Joy A. Thomas. 2006. 《信息论基础》（Wiley 电信与信号处理系列）。Wiley-Interscience, 美国。

示例

一枚公平硬币的结果是最不确定的：

>>> import numpy as np
>>> from scipy.stats import entropy
>>> base = 2  # work in units of bits
>>> pk = np.array([1/2, 1/2])  # fair coin
>>> H = entropy(pk, base=base)
>>> H
1.0
>>> H == -np.sum(pk * np.log(pk)) / np.log(base)
True

有偏硬币的结果不确定性较低：

>>> qk = np.array([9/10, 1/10])  # biased coin
>>> entropy(qk, base=base)
0.46899559358928117

公平硬币和有偏硬币之间的相对熵计算如下：

>>> D = entropy(pk, qk, base=base)
>>> D
0.7369655941662062
>>> D == np.sum(pk * np.log(pk/qk)) / np.log(base)
True

交叉熵可以计算为熵和相对熵的和`:

>>> CE = entropy(pk, base=base) + entropy(pk, qk, base=base)
>>> CE
1.736965594166206
>>> CE == -np.sum(pk * np.log(qk)) / np.log(base)
True
On this page