MeanEncoder#

class feature_engine.encoding.MeanEncoder(variables=None, missing_values='raise', ignore_format=False, unseen='ignore', smoothing=0.0)[源代码][源代码]#

MeanEncoder() 将类别替换为每个类别目标值的平均值。

例如在变量颜色中,如果目标的平均值分别为蓝色0.5,红色0.8和灰色0.1,则蓝色替换为0.5,红色替换为0.8,灰色替换为0.1。

对于罕见类别,即那些观察次数较少的类别,目标值的平均值可能不太可靠。为了缓解罕见类别返回的估计值较差的问题,可以将目标值的平均值确定为整个数据集的目标平均值(也称为先验)和类别目标平均值(后验)的混合,根据观察次数进行加权:

\[mapping = (w_i) posterior + (1-w_i) prior\]

其中权重计算如下:

\[w_i = n_i t / (s + n_i t)\]

在前面的方程中,t 是整个数据集中的目标方差,s 是类别内的目标方差,n 是该类别的观察次数。

默认情况下,编码器只会对分类变量(类型为’object’或’categorical’)进行编码。你可以传递一个变量列表进行编码。或者,编码器会找到并编码所有分类变量(类型为’object’或’categorical’)。

使用 ignore_format=True,您可以选择将数值变量编码。该过程是相同的,您可以输入要编码的变量列表,或者转换器将自动选择所有变量。

编码器首先将每个变量的类别映射为数字(拟合)。然后,编码器用这些数字替换类别(转换)。

更多详情请参阅 用户指南

参数
变量: 列表, 默认=无

将要编码的分类变量的列表。如果为 None,编码器将默认查找并转换所有类型为对象或分类的变量。你也可以使转换器接受数值变量,参见参数 ignore_format

missing_values: string, default=’raise’

指示是否应忽略缺失值或引发异常。如果设置为 'raise',当 fittransform 的数据集包含缺失值时,转换器将返回错误。如果设置为 'ignore',在学习参数或执行转换时将忽略缺失数据。

ignore_format: bool, default=False

此转换器仅对对象类型或分类类型的变量进行操作。要覆盖此行为并允许转换器也转换数值变量,请设置为 True

如果 ignore_formatFalse,编码器将自动选择类型为对象或分类的变量,或检查用户输入的变量是否为对象或分类类型。如果为 True,编码器将选择所有变量或接受用户输入的所有变量,包括那些被转换为数值类型的变量。

简而言之,当你想要编码数值变量时,设置为 True

unseen: string, default=’ignore’

指示在转换过程中遇到训练集中不存在的类别时应采取的操作。如果 'raise',则未见过的类别将引发错误。如果 'ignore',则未见过的类别将被编码为 NaN,并会引发警告。如果 'encode',未见过的类别将使用先验进行编码。

smoothing: int, float, str, default=0.0

平滑因子。应 >= 0。如果为 0,则不应用平滑,并且每个类别的平均目标值将按原样返回。如果为 ‘auto’,则 wi 按上述方式计算,类别编码为先验和后验的混合值。如果为 int 或 float,则 wi 计算为 ni / (ni+smoothing)。较高的值导致更强的平滑(先验的更高权重)。

属性
encoder_dict_:

包含每个变量每个类别的目标均值的字典。

变量_

将被转换的变量组。

feature_names_in_:

列出在 fit 过程中看到的特征名称。

n_features_in_:

用于拟合的训练集中的特征数量。

参见

feature_engine.encoding.RareLabelEncoder
category_encoders.target_encoder.TargetEncoder
category_encoders.m_estimate.MEstimateEncoder

注释

当编码训练数据集中未出现的类别时,会引入NAN。如果发生这种情况,尝试使用RareLabelEncoder()对不常见的类别进行分组。

还可以查看开源包 Category encoders 中的相关转换器。

参考文献

1

Micci-Barreca D. “分类和预测问题中高基数分类属性的预处理方案”。ACM SIGKDD 探索通讯,2001年。https://dl.acm.org/citation.cfm?id=507538

示例

>>> import pandas as pd
>>> from feature_engine.encoding import MeanEncoder
>>> X = pd.DataFrame(dict(x1 = [1,2,3,4,5], x2 = ["c", "c", "c", "b", "a"]))
>>> y = pd.Series([0,1,1,1,0])
>>> me = MeanEncoder()
>>> me.fit(X,y)
>>> me.transform(X)
   x1        x2
0   1  0.666667
1   2  0.666667
2   3  0.666667
3   4  1.000000
4   5  0.000000

方法

拟合:

学习每个类别、每个变量的目标平均值。

fit_transform:

拟合数据,然后进行转换。

get_feature_names_out:

获取转换的输出特征名称。

get_params:

获取此估计器的参数。

设置参数:

设置此估计器的参数。

inverse_transform:

将数据转换回原始表示形式。

转换:

将类别编码为数字。

fit(X, y)[源代码][源代码]#

学习变量每个类别对应目标的平均值。

参数
X: pandas 数据框,形状为 [n_samples, n_features]

训练输入样本。可以是整个数据框,而不仅仅是需要编码的变量。

y: pandas 系列

目标。

fit_transform(X, y=None, **fit_params)[源代码]#

拟合数据,然后进行转换。

使用可选参数 fit_params 将变换器拟合到 Xy,并返回 X 的变换版本。

参数
X类数组的形状 (n_samples, n_features)

输入样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组,默认=None

目标值(无监督变换为 None)。

**拟合参数dict

附加的拟合参数。

返回
X_newndarray 数组的形状为 (n_samples, n_features_new)

转换后的数组。

get_feature_names_out(input_features=None)[源代码]#

获取转换后的输出特征名称。换句话说,返回转换后的数据框的变量名称。

参数
输入特征数组或列表,默认=None

此参数仅为了与 Scikit-learn 管道兼容而存在。

  • 如果 None,则使用 feature_names_in_ 作为特征名称。

  • 如果是一个数组或列表,那么 input_features 必须与 feature_names_in_ 匹配。

返回
feature_names_out: 列表

转换后的特征名称。

rtype

List[Union[str, int]] ..

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请查看 用户指南 以了解路由机制的工作原理。

返回
路由MetadataRequest

一个封装了路由信息的 MetadataRequest

get_params(deep=True)[源代码]#

获取此估计器的参数。

参数
深度bool, 默认=True

如果为 True,将返回此估计器及其包含的作为估计器的子对象的参数。

返回
参数dict

参数名称映射到它们的值。

inverse_transform(X)[源代码][源代码]#

将编码后的变量转换回原始值。

请注意,如果 unseen 设置为 ‘encode’,则此方法未实现。

参数
X: pandas 数据框,形状为 [n_samples, n_features]。

转换后的数据框。

返回
X_tr: 形状为 [n_samples, n_features] 的 pandas 数据框。

未经转换的数据框,其中分类变量包含原始值。

rtype

DataFrame ..

set_params(**params)[源代码]#

设置此估计器的参数。

该方法适用于简单的估计器以及嵌套对象(如 Pipeline)。后者具有 <component>__<parameter> 形式的参数,因此可以更新嵌套对象的每个组件。

参数
**参数dict

估计器参数。

返回
self估计器实例

估计器实例。

transform(X)[源代码]#

用学习到的参数替换类别。

参数
X: pandas 数据框,形状为 [n_samples, n_features]。

要转换的数据集。

返回
X_new: 形状为 [n_samples, n_features] 的 pandas 数据框。

包含类别被数字替换的数据框。

rtype

DataFrame ..