SelectByTargetMeanPerformance#

class feature_engine.selection.SelectByTargetMeanPerformance(variables=None, bins=5, strategy='equal_width', scoring='roc_auc', cv=3, groups=None, threshold=None, regression=False, confirm_variables=False)[源代码][源代码]#

SelectByTargetMeanPerformance() 使用每个类别或每个区间(如果变量是数值型的)的目标均值作为目标估计的代理。通过这个代理,选择器根据选择的度量标准确定每个特征的性能,然后基于这个性能值选择特征。

SelectByTargetMeanPerformance() 可以评估数值和分类变量,而无需进行大量预处理。换句话说,如果你使用这个转换器,你不需要对分类变量进行编码或对数值变量进行转换来评估它们的重要性。

SelectByTargetMeanPerformance() 要求数据集是完整的,没有缺失数据。

SelectByTargetMeanPerformance() 通过交叉验证确定每个变量的性能。更具体地说:

对于每个分类变量:

  1. 确定训练折叠中每个类别的平均目标值。

  2. 在测试折叠中用目标均值替换类别。

  3. 确定转换变量在测试折叠中的性能。

对于每个数值变量:

  1. 将变量离散化为等宽或等频的区间。

  2. 确定训练折叠中每个间隔的目标平均值。

  3. 在测试折叠中,用目标平均值替换间隔。

  4. 确定转换变量在测试折叠中的性能。

最后,它会选取性能大于指定阈值的特征。如果阈值设为None,它会选取性能大于所有特征平均性能的特征。

所有步骤都是通过交叉验证完成的。这意味着,在数据的某个部分确定区间和每个区间或类别的目标平均值,并在剩余样本中进行评估。每个变量的性能指标是交叉验证折叠的平均值。

更多详情请参见 用户指南

参数
变量: 列表, 默认=无

要评估的变量列表。如果为 None,转换器将评估数据集中所有变量(日期时间除外)。

bins: int, default = 5

如果数据集包含数值变量,数值将被分类的箱数。

策略: str, 默认 = ‘equal_width’

箱子应该是等宽的 (‘equal_width’) 还是等频的 (‘equal_frequency’)。

scoring: str, default=’roc_auc’

用于评估估计器性能的指标。来自 sklearn.metrics。更多选项请参见模型评估文档:https://scikit-learn.org/stable/modules/model_evaluation.html

阈值: float, int, 默认 = 0.01

定义特征是否被选择的值。请注意,对于像 roc-auc、r2 和准确率这样的指标,阈值将是一个介于 0 和 1 之间的浮点数。对于像均方误差和均方根误差这样的指标,阈值可以是任何数值。阈值必须由用户定义。阈值越大,选择的特征就越少。

cv: int, 交叉验证生成器或可迭代对象, 默认=3

确定交叉验证的分割策略。cv 的可能输入包括:

对于int/None输入,如果估计器是分类器且y是二分类或多分类,则使用StratifiedKFold。在所有其他情况下,使用KFold。这些分割器以`shuffle=False`实例化,因此分割将在多次调用中保持一致。有关更多详细信息,请查看Scikit-learn的`cross_validate`文档。

groups: 形状为 (n_样本,) 的类数组, 默认=None

用于在将数据集划分为训练/测试集时使用的样本的组标签。仅在与“Group” cv 实例(例如,GroupKFold)结合使用时使用。

回归: 布尔值, 默认=True

指示目标是否用于回归或分类。

confirm_variables: bool, default=False

如果设置为 True,输入数据框中不存在的变量将从变量列表中移除。仅在向参数 variables 传递变量列表时使用。更多详情请参见参数 variables。

属性
变量_

特征选择过程中将考虑的变量。

feature_performance_

包含每个功能的性能的词典。

feature_performance_std_:

包含每个特征性能标准差的字典。

features_to_drop_:

列出将被移除的功能。

feature_names_in_:

列出在 fit 过程中看到的特征名称。

n_features_in_:

在拟合中使用的训练集中的特征数量。

注释

用目标均值替换类别或区间等价于目标均值编码。

参考文献

1

Miller 等人。“预测客户行为:墨尔本大学的 KDD 杯报告”。JMLR 研讨会和会议论文集。KDD 2009 http://proceedings.mlr.press/v7/miller09/miller09.pdf

示例

>>> from sklearn.ensemble import RandomForestClassifier
>>> from feature_engine.selection import SelectByTargetMeanPerformance
>>> X = pd.DataFrame(dict(x1 = [1000,2000,1000,1000,2000,3000],
>>>                     x2 = [1,1,1,0,0,0],
>>>                     x3 = [1,2,1,1,0,1],
>>>                     x4 = [1,1,1,1,1,1]))
>>> y = pd.Series([1,0,0,1,1,0])
>>> tmp = SelectByTargetMeanPerformance(bins = 3, cv=2,scoring='accuracy')
>>> tmp.fit_transform(X, y)
    x2  x3  x4
0   1   1   1
1   1   2   1
2   1   1   1
3   0   1   1
4   0   0   1
5   0   1   1

此转换器也适用于分类示例:

>>> X = pd.DataFrame(dict(x1 = ["a","b","a","a","b","b"],
>>>             x2 = ["a","a","a","b","b","b"]))
>>> y = pd.Series([1,0,0,1,1,0])
>>> tmp = SelectByTargetMeanPerformance(bins = 3, cv=2,scoring='accuracy')
>>> tmp.fit_transform(X, y)
  x2
0  a
1  a
2  a
3  b
4  b
5  b

方法

拟合:

找到重要的功能。

fit_transform:

拟合数据,然后进行转换。

get_feature_names_out:

获取转换后的输出特征名称。

get_params:

获取此估计器的参数。

设置参数:

设置此估计器的参数。

获取支持:

获取所选特征的掩码或整数索引。

转换:

将 X 减少到选定的特征。

fit(X, y)[源代码][源代码]#

找到重要的功能。

参数
X: pandas 数据框,形状为 [n_samples, n_features]

输入的数据框。

y: 形状为 (n_samples) 的类数组对象

目标变量。训练估计器时必需。

fit_transform(X, y=None, **fit_params)[源代码]#

拟合数据,然后进行转换。

使用可选参数 fit_params 将转换器拟合到 Xy,并返回 X 的转换版本。

参数
X形状为 (n_samples, n_features) 的类数组对象

输入样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组对象,默认=None

目标值(无监督变换为 None)。

**fit_参数dict

额外的拟合参数。

返回
X_newndarray 形状为 (n_samples, n_features_new)

转换后的数组。

get_feature_names_out(input_features=None)[源代码]#

获取转换后的输出特征名称。换句话说,返回转换后的数据框的变量名称。

参数
输入特征数组或列表,默认=None

此参数仅为了与 Scikit-learn 管道兼容而存在。

  • 如果 None,则使用 feature_names_in_ 作为特征名称。

  • 如果是一个数组或列表,那么 input_features 必须与 feature_names_in_ 匹配。

返回
feature_names_out: 列表

转换后的特征名称。

rtype

List[Union[str, int]] ..

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请查看 用户指南 以了解路由机制的工作原理。

返回
路由MetadataRequest

一个封装了路由信息的 MetadataRequest

get_params(deep=True)[源代码]#

获取此估计器的参数。

参数
深度bool, 默认=True

如果为真,将返回此估计器及其包含的子对象(这些子对象也是估计器)的参数。

返回
参数dict

参数名称映射到它们的值。

get_support(indices=False)[源代码]#

获取所选特征的掩码或整数索引。

参数
索引bool, 默认=False

如果为真,返回值将是一个整数数组,而不是布尔掩码。

返回
支持数组

一个从特征向量中选择保留特征的索引。如果 indices 为 False,这是一个形状为 [# 输入特征] 的布尔数组,其中元素为 True 表示其对应的特征被选择保留。如果 indices 为 True,这是一个形状为 [# 输出特征] 的整数数组,其值为输入特征向量中的索引。

set_params(**params)[源代码]#

设置此估计器的参数。

该方法适用于简单的估计器以及嵌套对象(如 Pipeline)。后者的参数形式为 <component>__<parameter>,因此可以更新嵌套对象的每个组件。

参数
**参数dict

估计器参数。

返回
self估计器实例

估计器实例。

transform(X)[源代码]#

返回包含所选特征的数据框。

参数
X: pandas 数据框,形状为 = [样本数, 特征数]。

输入的数据框。

返回
X_new: 形状为 [n_samples, n_selected_features] 的 pandas dataframe

包含所选特征的 Pandas 数据框。

rtype

DataFrame ..