ProbeFeatureSelection#
- class feature_engine.selection.ProbeFeatureSelection(estimator, variables=None, collective=True, scoring='roc_auc', n_probes=1, distribution='normal', cv=5, groups=None, random_state=0, confirm_variables=False)[源代码][源代码]#
ProbeFeatureSelection() 根据用户选择的分布生成一个或多个探针（即随机）特征。分布选项有 ‘normal’、’binomial’、’uniform’ 或 ‘all’。’all’ 为上述三种分布中的每一种创建至少一个特征。
使用交叉验证，ProbeFeatureSelection() 将 Scikit-learn 估计器拟合到提供的变量以及探针特征。接下来，它从拟合的模型中推导出每个变量和探针特征的重要性。
另外，ProbeFeatureSelection() 为每个特征和探针特征（单特征模型）拟合一个 Scikit-learn 估计器，然后使用所选的指标确定该模型返回的性能。
最后，ProbeFeatureSelection() 选择重要性高于探针的特征。如果存在多个探针特征，ProbeFeatureSelection() 取所有探针特征的平均特征重要性。
特征重要性小于探针特征的变量将从数据集中删除。
更多详情请参阅 用户指南。
- 参数
- 估计器: 对象
一个用于回归或分类的 Scikit-learn 估计器。如果
collective=True，估计器在拟合后必须具有feature_importances_或coef_属性。- 变量: str 或 list, 默认=None
要评估的变量列表。如果为 None，转换器将评估数据集中所有数值特征。
- collective: bool, default=True
特征重要性应从在整个数据集上训练的估计器（True）中导出，还是从使用单独特征训练的估计器（False）中导出。
- scoring: str, default=’roc_auc’
用于评估估计器性能的指标。来自
sklearn.metrics。更多选项请参见模型评估文档：https://scikit-learn.org/stable/modules/model_evaluation.html- n_probes: int, default=1
要创建的探针特征的数量。如果分布是 ‘all’，n_probes 必须是 3 的倍数。
- 分布: str, 默认=’normal’
用于创建探针特征的分布。选项有 ‘normal’、’binomial’、’uniform’ 和 ‘all’。’all’ 会创建至少一个或多个探针特征，包含每种分布类型，即 normal、binomial 和 uniform。其余选项会创建
n_probes个所选分布的特征。- cv: int, 交叉验证生成器或可迭代对象, 默认=3
确定交叉验证的分割策略。cv 的可能输入包括：
None，使用 cross_validate 的默认 5 折交叉验证
int，用于指定 (Stratified)KFold 中的折数。
CV 分割器: (https://scikit-learn.org/stable/glossary.html#term-CV-splitter)
一个生成 (训练, 测试) 分割的迭代器，作为索引数组。
对于int/None输入，如果估计器是分类器且y是二分类或多分类，则使用StratifiedKFold。在所有其他情况下，使用KFold。这些分割器以`shuffle=False`实例化，因此分割将在多次调用中保持一致。更多详情请查看Scikit-learn的`cross_validate`文档。
- groups: 形状为 (n_样本,) 的类数组, 默认为 None
用于在将数据集划分为训练/测试集时使用的样本的组标签。仅在与“Group” cv 实例（例如，GroupKFold）结合使用时使用。
- 属性
- probe_features_
一个由基于所选分布伪随机生成的特征组成的数据框。
- feature_importances_:
带有特征重要性的 Pandas Series。如果
collective=True，特征重要性由线性模型的系数或基于树模型的特征重要性得出。如果collective=False，特征重要性由使用该单独特征训练的模型返回的性能指标给出。- feature_importances_std_:
Pandas Series 包含特征重要性的标准差。
- features_to_drop_：
列出将被移除的功能。
- 变量_
特征选择过程中将考虑的变量。
- feature_names_in_:
列出在
fit过程中看到的特征名称。- n_features_in_:
在拟合过程中使用的训练集中的特征数量。
参考文献
- 1
Stoppiglia 等人。“随机特征排序用于变量和特征选择”。JMLR: 1399-1414, 2003 https://jmlr.org/papers/volume3/stoppiglia03a/stoppiglia03a.pdf
示例
>>> from sklearn.datasets import load_breast_cancer >>> from sklearn.linear_model import LogisticRegression >>> from feature_engine.selection import ProbeFeatureSelection >>> X, y = load_breast_cancer(return_X_y=True, as_frame=True) >>> sel = ProbeFeatureSelection( >>> estimator=LogisticRegression(), >>> scoring="roc_auc", >>> n_probes=3, >>> distribution="normal", >>> cv=3, >>> random_state=150, >>> ) >>> X_tr = sel.fit_transform(X, y) >>> print(X.shape, X_tr.shape) (569, 30) (569, 9)
方法
拟合：
找到重要的功能。
fit_transform:
拟合数据，然后进行转换。
get_feature_names_out:
获取转换后的输出特征名称。
get_params:
获取此估计器的参数。
设置参数:
设置此估计器的参数。
获取支持：
获取所选特征的掩码或整数索引。
转换：
将 X 减少到选定的特征。
- fit(X, y)[源代码][源代码]#
找到重要的功能。
- 参数
- X: pandas 数据框，形状为 [n_samples, n_features]
- y: 形状为 (n_samples) 的类数组对象
目标变量。训练估计器时必需。
- fit_transform(X, y=None, **fit_params)[源代码]#
拟合数据，然后进行转换。
使用可选参数
fit_params将转换器拟合到X和y，并返回X的转换版本。- 参数
- X类似数组的形状 (n_samples, n_features)
输入样本。
- y类似数组的形状 (n_samples,) 或 (n_samples, n_outputs), 默认=None
目标值（无监督变换为 None）。
- **拟合参数dict
附加的拟合参数。
- 返回
- X_newndarray 形状为 (n_samples, n_features_new)
转换后的数组。
- get_metadata_routing()[源代码]#
获取此对象的元数据路由。
请查看 用户指南 以了解路由机制的工作原理。
- 返回
- 路由MetadataRequest
一个封装了路由信息的
MetadataRequest。
- get_params(deep=True)[源代码]#
获取此估计器的参数。
- 参数
- 深度bool, 默认=True
如果为 True，将返回此估计器及其包含的作为估计器的子对象的参数。
- 返回
- 参数dict
参数名称映射到它们的值。
- get_support(indices=False)[源代码]#
获取所选特征的掩码或整数索引。
- 参数
- 索引bool, 默认=False
如果为真，返回值将是一个整数数组，而不是布尔掩码。
- 返回
- 支持数组
一个从特征向量中选择保留特征的索引。如果
indices为 False，这是一个形状为 [# 输入特征] 的布尔数组，其中元素为 True 表示其对应的特征被选择保留。如果indices为 True，这是一个形状为 [# 输出特征] 的整数数组，其值为输入特征向量中的索引。