MeanEncoder#
- class feature_engine.encoding.MeanEncoder(variables=None, missing_values='raise', ignore_format=False, unseen='ignore', smoothing=0.0)[源代码][源代码]#
MeanEncoder() 将类别替换为每个类别目标值的平均值。
例如在变量颜色中,如果目标的平均值分别为蓝色0.5,红色0.8和灰色0.1,则蓝色替换为0.5,红色替换为0.8,灰色替换为0.1。
对于罕见类别,即那些观察次数较少的类别,目标值的平均值可能不太可靠。为了缓解罕见类别返回的估计值较差的问题,可以将目标值的平均值确定为整个数据集的目标平均值(也称为先验)和类别目标平均值(后验)的混合,根据观察次数进行加权:
\[mapping = (w_i) posterior + (1-w_i) prior\]其中权重计算如下:
\[w_i = n_i t / (s + n_i t)\]在前面的方程中,t 是整个数据集中的目标方差,s 是类别内的目标方差,n 是该类别的观察次数。
默认情况下,编码器只会对分类变量(类型为’object’或’categorical’)进行编码。你可以传递一个变量列表进行编码。或者,编码器会找到并编码所有分类变量(类型为’object’或’categorical’)。
使用
ignore_format=True
,您可以选择将数值变量编码。该过程是相同的,您可以输入要编码的变量列表,或者转换器将自动选择所有变量。编码器首先将每个变量的类别映射为数字(拟合)。然后,编码器用这些数字替换类别(转换)。
更多详情请参阅 用户指南。
- 参数
- 变量: 列表, 默认=无
将要编码的分类变量的列表。如果为 None,编码器将默认查找并转换所有类型为对象或分类的变量。你也可以使转换器接受数值变量,参见参数
ignore_format
。- missing_values: string, default=’raise’
指示是否应忽略缺失值或引发异常。如果设置为
'raise'
,当fit
或transform
的数据集包含缺失值时,转换器将返回错误。如果设置为'ignore'
,在学习参数或执行转换时将忽略缺失数据。- ignore_format: bool, default=False
此转换器仅对对象类型或分类类型的变量进行操作。要覆盖此行为并允许转换器也转换数值变量,请设置为
True
。如果
ignore_format
为False
,编码器将自动选择类型为对象或分类的变量,或检查用户输入的变量是否为对象或分类类型。如果为True
,编码器将选择所有变量或接受用户输入的所有变量,包括那些被转换为数值类型的变量。简而言之,当你想要编码数值变量时,设置为
True
。- unseen: string, default=’ignore’
指示在转换过程中遇到训练集中不存在的类别时应采取的操作。如果
'raise'
,则未见过的类别将引发错误。如果'ignore'
,则未见过的类别将被编码为 NaN,并会引发警告。如果'encode'
,未见过的类别将使用先验进行编码。- smoothing: int, float, str, default=0.0
平滑因子。应 >= 0。如果为 0,则不应用平滑,并且每个类别的平均目标值将按原样返回。如果为 ‘auto’,则 wi 按上述方式计算,类别编码为先验和后验的混合值。如果为 int 或 float,则 wi 计算为 ni / (ni+smoothing)。较高的值导致更强的平滑(先验的更高权重)。
- 属性
- encoder_dict_:
包含每个变量每个类别的目标均值的字典。
- 变量_
将被转换的变量组。
- feature_names_in_:
列出在
fit
过程中看到的特征名称。- n_features_in_:
用于拟合的训练集中的特征数量。
参见
feature_engine.encoding.RareLabelEncoder
category_encoders.target_encoder.TargetEncoder
category_encoders.m_estimate.MEstimateEncoder
注释
当编码训练数据集中未出现的类别时,会引入NAN。如果发生这种情况,尝试使用RareLabelEncoder()对不常见的类别进行分组。
还可以查看开源包 Category encoders 中的相关转换器。
参考文献
- 1
Micci-Barreca D. “分类和预测问题中高基数分类属性的预处理方案”。ACM SIGKDD 探索通讯,2001年。https://dl.acm.org/citation.cfm?id=507538
示例
>>> import pandas as pd >>> from feature_engine.encoding import MeanEncoder >>> X = pd.DataFrame(dict(x1 = [1,2,3,4,5], x2 = ["c", "c", "c", "b", "a"])) >>> y = pd.Series([0,1,1,1,0]) >>> me = MeanEncoder() >>> me.fit(X,y) >>> me.transform(X) x1 x2 0 1 0.666667 1 2 0.666667 2 3 0.666667 3 4 1.000000 4 5 0.000000
方法
拟合:
学习每个类别、每个变量的目标平均值。
fit_transform:
拟合数据,然后进行转换。
get_feature_names_out:
获取转换的输出特征名称。
get_params:
获取此估计器的参数。
设置参数:
设置此估计器的参数。
inverse_transform:
将数据转换回原始表示形式。
转换:
将类别编码为数字。
- fit(X, y)[源代码][源代码]#
学习变量每个类别对应目标的平均值。
- 参数
- X: pandas 数据框,形状为 [n_samples, n_features]
训练输入样本。可以是整个数据框,而不仅仅是需要编码的变量。
- y: pandas 系列
目标。
- fit_transform(X, y=None, **fit_params)[源代码]#
拟合数据,然后进行转换。
使用可选参数
fit_params
将变换器拟合到X
和y
,并返回X
的变换版本。- 参数
- X类数组的形状 (n_samples, n_features)
输入样本。
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组,默认=None
目标值(无监督变换为 None)。
- **拟合参数dict
附加的拟合参数。
- 返回
- X_newndarray 数组的形状为 (n_samples, n_features_new)
转换后的数组。
- get_metadata_routing()[源代码]#
获取此对象的元数据路由。
请查看 用户指南 以了解路由机制的工作原理。
- 返回
- 路由MetadataRequest
一个封装了路由信息的
MetadataRequest
。
- get_params(deep=True)[源代码]#
获取此估计器的参数。
- 参数
- 深度bool, 默认=True
如果为 True,将返回此估计器及其包含的作为估计器的子对象的参数。
- 返回
- 参数dict
参数名称映射到它们的值。
- inverse_transform(X)[源代码][源代码]#
将编码后的变量转换回原始值。
请注意,如果 unseen 设置为 ‘encode’,则此方法未实现。
- 参数
- X: pandas 数据框,形状为 [n_samples, n_features]。
转换后的数据框。
- 返回
- X_tr: 形状为 [n_samples, n_features] 的 pandas 数据框。
未经转换的数据框,其中分类变量包含原始值。
- rtype
DataFrame
..