SelectByTargetMeanPerformance#
- class feature_engine.selection.SelectByTargetMeanPerformance(variables=None, bins=5, strategy='equal_width', scoring='roc_auc', cv=3, groups=None, threshold=None, regression=False, confirm_variables=False)[源代码][源代码]#
SelectByTargetMeanPerformance() 使用每个类别或每个区间(如果变量是数值型的)的目标均值作为目标估计的代理。通过这个代理,选择器根据选择的度量标准确定每个特征的性能,然后基于这个性能值选择特征。
SelectByTargetMeanPerformance() 可以评估数值和分类变量,而无需进行大量预处理。换句话说,如果你使用这个转换器,你不需要对分类变量进行编码或对数值变量进行转换来评估它们的重要性。
SelectByTargetMeanPerformance() 要求数据集是完整的,没有缺失数据。
SelectByTargetMeanPerformance() 通过交叉验证确定每个变量的性能。更具体地说:
对于每个分类变量:
确定训练折叠中每个类别的平均目标值。
在测试折叠中用目标均值替换类别。
确定转换变量在测试折叠中的性能。
对于每个数值变量:
将变量离散化为等宽或等频的区间。
确定训练折叠中每个间隔的目标平均值。
在测试折叠中,用目标平均值替换间隔。
确定转换变量在测试折叠中的性能。
最后,它会选取性能大于指定阈值的特征。如果阈值设为None,它会选取性能大于所有特征平均性能的特征。
所有步骤都是通过交叉验证完成的。这意味着,在数据的某个部分确定区间和每个区间或类别的目标平均值,并在剩余样本中进行评估。每个变量的性能指标是交叉验证折叠的平均值。
更多详情请参见 用户指南。
- 参数
- 变量: 列表, 默认=无
要评估的变量列表。如果为 None,转换器将评估数据集中所有变量(日期时间除外)。
- bins: int, default = 5
如果数据集包含数值变量,数值将被分类的箱数。
- 策略: str, 默认 = ‘equal_width’
箱子应该是等宽的 (‘equal_width’) 还是等频的 (‘equal_frequency’)。
- scoring: str, default=’roc_auc’
用于评估估计器性能的指标。来自
sklearn.metrics
。更多选项请参见模型评估文档:https://scikit-learn.org/stable/modules/model_evaluation.html- 阈值: float, int, 默认 = 0.01
定义特征是否被选择的值。请注意,对于像 roc-auc、r2 和准确率这样的指标,阈值将是一个介于 0 和 1 之间的浮点数。对于像均方误差和均方根误差这样的指标,阈值可以是任何数值。阈值必须由用户定义。阈值越大,选择的特征就越少。
- cv: int, 交叉验证生成器或可迭代对象, 默认=3
确定交叉验证的分割策略。cv 的可能输入包括:
None,使用 cross_validate 的默认 5 折交叉验证
int,用于指定 (Stratified)KFold 中的折数。
CV 分割器: (https://scikit-learn.org/stable/glossary.html#term-CV-splitter)
一个生成 (训练, 测试) 分割的迭代器,作为索引数组返回。
对于int/None输入,如果估计器是分类器且y是二分类或多分类,则使用StratifiedKFold。在所有其他情况下,使用KFold。这些分割器以`shuffle=False`实例化,因此分割将在多次调用中保持一致。有关更多详细信息,请查看Scikit-learn的`cross_validate`文档。
- groups: 形状为 (n_样本,) 的类数组, 默认=None
用于在将数据集划分为训练/测试集时使用的样本的组标签。仅在与“Group” cv 实例(例如,GroupKFold)结合使用时使用。
- 回归: 布尔值, 默认=True
指示目标是否用于回归或分类。
- confirm_variables: bool, default=False
如果设置为 True,输入数据框中不存在的变量将从变量列表中移除。仅在向参数
variables
传递变量列表时使用。更多详情请参见参数 variables。
- 属性
- 变量_
特征选择过程中将考虑的变量。
- feature_performance_
包含每个功能的性能的词典。
- feature_performance_std_:
包含每个特征性能标准差的字典。
- features_to_drop_:
列出将被移除的功能。
- feature_names_in_:
列出在
fit
过程中看到的特征名称。- n_features_in_:
在拟合中使用的训练集中的特征数量。
参见
注释
用目标均值替换类别或区间等价于目标均值编码。
参考文献
- 1
Miller 等人。“预测客户行为:墨尔本大学的 KDD 杯报告”。JMLR 研讨会和会议论文集。KDD 2009 http://proceedings.mlr.press/v7/miller09/miller09.pdf
示例
>>> from sklearn.ensemble import RandomForestClassifier >>> from feature_engine.selection import SelectByTargetMeanPerformance >>> X = pd.DataFrame(dict(x1 = [1000,2000,1000,1000,2000,3000], >>> x2 = [1,1,1,0,0,0], >>> x3 = [1,2,1,1,0,1], >>> x4 = [1,1,1,1,1,1])) >>> y = pd.Series([1,0,0,1,1,0]) >>> tmp = SelectByTargetMeanPerformance(bins = 3, cv=2,scoring='accuracy') >>> tmp.fit_transform(X, y) x2 x3 x4 0 1 1 1 1 1 2 1 2 1 1 1 3 0 1 1 4 0 0 1 5 0 1 1
此转换器也适用于分类示例:
>>> X = pd.DataFrame(dict(x1 = ["a","b","a","a","b","b"], >>> x2 = ["a","a","a","b","b","b"])) >>> y = pd.Series([1,0,0,1,1,0]) >>> tmp = SelectByTargetMeanPerformance(bins = 3, cv=2,scoring='accuracy') >>> tmp.fit_transform(X, y) x2 0 a 1 a 2 a 3 b 4 b 5 b
方法
拟合:
找到重要的功能。
fit_transform:
拟合数据,然后进行转换。
get_feature_names_out:
获取转换后的输出特征名称。
get_params:
获取此估计器的参数。
设置参数:
设置此估计器的参数。
获取支持:
获取所选特征的掩码或整数索引。
转换:
将 X 减少到选定的特征。
- fit(X, y)[源代码][源代码]#
找到重要的功能。
- 参数
- X: pandas 数据框,形状为 [n_samples, n_features]
输入的数据框。
- y: 形状为 (n_samples) 的类数组对象
目标变量。训练估计器时必需。
- fit_transform(X, y=None, **fit_params)[源代码]#
拟合数据,然后进行转换。
使用可选参数
fit_params
将转换器拟合到X
和y
,并返回X
的转换版本。- 参数
- X形状为 (n_samples, n_features) 的类数组对象
输入样本。
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组对象,默认=None
目标值(无监督变换为 None)。
- **fit_参数dict
额外的拟合参数。
- 返回
- X_newndarray 形状为 (n_samples, n_features_new)
转换后的数组。
- get_metadata_routing()[源代码]#
获取此对象的元数据路由。
请查看 用户指南 以了解路由机制的工作原理。
- 返回
- 路由MetadataRequest
一个封装了路由信息的
MetadataRequest
。
- get_params(deep=True)[源代码]#
获取此估计器的参数。
- 参数
- 深度bool, 默认=True
如果为真,将返回此估计器及其包含的子对象(这些子对象也是估计器)的参数。
- 返回
- 参数dict
参数名称映射到它们的值。
- get_support(indices=False)[源代码]#
获取所选特征的掩码或整数索引。
- 参数
- 索引bool, 默认=False
如果为真,返回值将是一个整数数组,而不是布尔掩码。
- 返回
- 支持数组
一个从特征向量中选择保留特征的索引。如果
indices
为 False,这是一个形状为 [# 输入特征] 的布尔数组,其中元素为 True 表示其对应的特征被选择保留。如果indices
为 True,这是一个形状为 [# 输出特征] 的整数数组,其值为输入特征向量中的索引。