版本 0.22#
有关此版本主要亮点简要描述,请参阅 scikit-learn 0.22 版本发布亮点 。
Legend for changelogs
Major Feature something big that you couldn’t do before.
Feature something that you couldn’t do before.
Efficiency an existing feature now may not require as much computation or memory.
Enhancement a miscellaneous minor improvement.
Fix something that previously didn’t work as documented – or according to reasonable expectations – should now work.
API Change you will need to change your code to have the same effect in the future; or a feature will be removed in the future.
版本 0.22.2.post1#
2020年3月3日
0.22.2.post1 版本包含源分发包的打包修复,但包内容与 0.22.2 版本(不带 .post1 后缀)的轮子内容相同。两者都包含以下更改。
更改日志#
sklearn.impute
#
Efficiency 通过分块成对距离计算,减少
impute.KNNImputer
的渐近内存使用。 #16397 由 Joel Nothman 贡献。
sklearn.metrics
#
Fix 修复了
metrics.plot_roc_curve
中的一个错误,其中估计器的名称被传递到metrics.RocCurveDisplay
中,而不是参数name
。这导致在后续调用metrics.RocCurveDisplay.plot
时绘图不同。 #16500 由 Guillaume Lemaitre 贡献。Fix 修复了
metrics.plot_precision_recall_curve
中的一个错误,其中估计器的名称被传递到metrics.PrecisionRecallDisplay
中,而不是参数name
。这导致在后续调用metrics.PrecisionRecallDisplay.plot
时绘图不同。 #16505 由 Guillaume Lemaitre 贡献。
sklearn.neighbors
#
Fix 修复了一个错误,该错误将数组列表转换为二维对象数组,而不是包含 NumPy 数组的 1 维数组。此错误影响了
neighbors.NearestNeighbors.radius_neighbors
。 #16076 由 Guillaume Lemaitre 和 Alex Shacked 贡献。
版本 0.22.1#
2020年1月2日
这是一个修复版本,主要解决0.22.0版本中的一些打包问题。它还包括一些文档改进和一些错误修复。
更新日志#
sklearn.cluster
#
Fix
cluster.KMeans
在algorithm="elkan"
时现在使用与默认algorithm="full"
相同的停止准则。#15930 由 @inder128 提交。
sklearn.inspection
#
Fix
inspection.permutation_importance
在给定random_state
时,无论n_jobs=1
还是n_jobs>1
,无论使用共享内存后端(线程安全)还是独立内存、基于进程的后端,都将返回相同的importances
。同时避免将数据转换为对象类型,并避免在n_jobs>1
时对大型数据框出现只读错误,如 #15810 中所报告。#15898 的后续工作,由 Shivam Gargsya 提交。#15933 由 Guillaume Lemaitre 和 Olivier Grisel 提交。Fix
inspection.plot_partial_dependence
和inspection.PartialDependenceDisplay.plot
现在一致性地检查传入的轴数量。#15760 由 Thomas Fan 提交。
sklearn.metrics
#
Fix
metrics.plot_confusion_matrix
现在在normalize
无效时会引发错误。以前,它会在没有归一化的情况下正常运行。#15888 由 Hanmin Qin 提交。Fix
metrics.plot_confusion_matrix
现在正确地为标签颜色着色,以最大化与其背景的对比度。#15936 由 Thomas Fan 和 @DizietAsahi 提交。Fix
metrics.classification_report
不再忽略zero_division
关键字参数的值。#15879 由 Bibhash Chandra Mitra 提交。Fix 修复了
metrics.plot_confusion_matrix
中的一个错误,以正确传递values_format
参数给metrics.ConfusionMatrixDisplay
。
plot() 调用。#15937 由 Stephen Blystone 提交。
sklearn.model_selection
#
Fix
model_selection.GridSearchCV
和model_selection.RandomizedSearchCV
接受在fit_params
中提供的标量值。0.22 版本中的更改破坏了向后兼容性。 #15863 由 Adrin Jalali 和 Guillaume Lemaitre 提交。
sklearn.naive_bayes
#
Fix 移除了
naive_bayes.BaseNB
中方法_check_X
的abstractmethod
装饰器,这可能会破坏继承自这个已弃用的公共基类的下游项目。 #15996 由 Brigitta Sipőcz 提交。
sklearn.preprocessing
#
Fix
preprocessing.QuantileTransformer
现在保证quantiles_
属性完全按非递减方式排序。 #15751 由 Tirth Patel 提交。
sklearn.semi_supervised
#
Fix
semi_supervised.LabelPropagation
和semi_supervised.LabelSpreading
现在允许可调用核函数返回稀疏权重矩阵。 #15868 由 Niklas Smedemark-Margulies 提交。
sklearn.utils
#
Fix
utils.check_array
现在正确地将包含布尔列的 pandas DataFrame 转换为浮点数。 #15797 由 Thomas Fan 提交。Fix
utils.validation.check_is_fitted
接受一个显式的attributes
参数来检查特定属性作为已拟合估计器的显式标记。当没有提供显式的attributes
时,仅使用以单个下划线结尾且不以双下划线开头的属性作为“已拟合”标记。all_or_any
参数也不再被弃用。这一更改是为了恢复一些向后兼容性。
版本 0.21 中此工具的行为:由 Thomas Fan 提出的 #15947 。
版本 0.22.0#
2019 年 12 月 3 日
网站更新#
我们的网站 进行了改版,并赋予了全新的外观。由 Thomas Fan 提出的 #14849 。
公共 API 的明确界定#
Scikit-learn 有一个公共 API 和一个私有 API。
我们尽力不破坏公共 API,并且只引入不需要用户采取任何行动的向后兼容的更改。然而,在某些情况下这是不可能的,任何对公共 API 的更改都需经过两个次要版本的弃用周期。私有 API 没有公开文档,并且不受任何弃用周期的约束,因此用户不应依赖其稳定性。
一个函数或对象是公共的,如果它在 API 参考 中有文档记录,并且可以通过不带前导下划线的导入路径导入。例如, sklearn.pipeline.make_pipeline
是公共的,而 sklearn.pipeline._name_estimators
是私有的。 sklearn.ensemble._gb.BaseEnsemble
也是私有的,因为整个 _gb
模块是私有的。
在 0.22 版本之前,一些工具实际上是公共的(没有前导下划线),而它们本应是私有的。在 0.22 版本中,这些工具已被正确地设为私有,并且公共 API 空间已被清理。此外,从大多数子模块导入现在已被弃用:例如,您应该使用 from sklearn.cluster import Birch
而不是 from sklearn.cluster.birch import Birch
(实际上, birch.py
已被移动到 _birch.py
)。
Note
公共 API 中的所有工具都应在 API 参考 中有文档记录。如果您发现一个公共工具(没有前导下划线)不在 API 参考中,请告知我们。
参考资料,这意味着它应该是私有的或已记录的。请通过打开一个问题让我们知道!
这项工作在 issue 9250 和 issue 12927 中进行了跟踪。
弃用:从现在开始使用 FutureWarning
#
在弃用一个功能时,scikit-learn 的先前版本通常会引发 DeprecationWarning
。由于 DeprecationWarnings
默认情况下不会被 Python 显示,scikit-learn 需要求助于自定义警告过滤器来始终显示这些警告。该过滤器有时会干扰用户的自定义警告过滤器。
从版本 0.22 开始,scikit-learn 将显示 FutureWarnings
用于弃用, 如 Python 文档所推荐 。 FutureWarnings
默认情况下总是被 Python 显示,因此自定义过滤器已被移除,scikit-learn 不再干扰用户过滤器。#15080 由 Nicolas Hug 提供。
更改的模型#
以下估计器和函数,当使用相同的数据和参数进行拟合时,可能会产生与先前版本不同的模型。这通常是由于建模逻辑(错误修复或增强)或随机抽样程序的变化引起的。
cluster.KMeans
当n_jobs=1
时。Fixdecomposition.SparseCoder
,decomposition.DictionaryLearning
, 和decomposition.MiniBatchDictionaryLearning
Fixdecomposition.SparseCoder
使用algorithm='lasso_lars'
Fixdecomposition.SparsePCA
其中normalize_components
由于弃用而无效。ensemble.HistGradientBoostingClassifier
和ensemble.HistGradientBoostingRegressor
Fix , Feature , Enhancement .impute.IterativeImputer
当X
具有无缺失特征时。
值。 Feature
- 当 X
是稀疏矩阵时,linear_model.Ridge
。 Fix
- model_selection.StratifiedKFold
以及任何在分类器中使用 cv=int
的情况。 Fix
- 使用 scipy >= 1.3 时的 cross_decomposition.CCA
。 Fix
详细信息列在下面的变更日志中。
(虽然我们正努力通过提供这些信息来更好地告知用户,但我们不能保证此列表是完整的。)
变更日志#
sklearn.base
#
API Change 从版本 0.24 开始,
base.BaseEstimator.get_params
将引发 AttributeError,而不是为构造函数中的参数返回 None,但这些参数未作为实例上的属性存储。 #14464 by Joel Nothman 。
sklearn.calibration
#
Fix 修复了一个错误,该错误导致
calibration.CalibratedClassifierCV
在给定类型为list
的sample_weight
参数时失败(在包装的估计器不支持sample_weights
的情况下)。 #13575 by William de Vazelhes 。
sklearn.cluster
#
Feature
cluster.SpectralClustering
现在接受预计算的稀疏邻居图作为输入。 #10482 by Tom Dupre la Tour 和 Kumar Ashutosh 。Enhancement
cluster.SpectralClustering
现在接受一个n_components
参数。此参数扩展了 SpectralClustering
类的功能,以匹配 cluster.spectral_clustering
。
#13726 由 Shuzhe Xiao 提供。
Fix 修复了
cluster.KMeans
在n_jobs=1
和n_jobs>1
之间由于随机状态处理而产生不一致结果的错误。 #9288 由 Bryan Yang 提供。Fix 修复了
cluster.KMeans
中的elkan
算法在大型数组上因整数索引溢出而产生段错误的问题。 #15057 由 Vladimir Korolev 提供。Fix
MeanShift
现在接受一个默认值为 300 的 max_iter ,而不是总是使用默认的 300。它现在还公开了一个n_iter_
,表示在每个种子上执行的最大迭代次数。#15120 由 Adrin Jalali 提供。Fix
cluster.AgglomerativeClustering
和cluster.FeatureAgglomeration
现在在affinity='cosine'
且X
包含全零样本时会引发错误。#7943 由 @mthorrell 提供。
sklearn.compose
#
Feature 添加了
compose.make_column_selector
,它与compose.ColumnTransformer
一起使用,根据名称和数据类型选择 DataFrame 列。#12303 由 Thomas Fan 提供。Fix 修复了
compose.ColumnTransformer
在 NumPy 版本低于 1.12 时使用布尔列表无法正确选择列的错误。 #14510 由 Guillaume Lemaitre 提供。Fix 修复了
compose.TransformedTargetRegressor
未将**fit_params
传递给底层回归器的错误。 #14890 由 Miguel Cabrera 提供。Fix
compose.ColumnTransformer
现在要求fit
和transform
之间的特征数量保持一致。现在会引发一个FutureWarning
,并在 0.24 版本中将引发错误。如果特征数量不一致, 如果特征不一致且使用了负索引,则会引发错误。#14544 由 Adrin Jalali 提交。
sklearn.cross_decomposition
#
Feature
cross_decomposition.PLSCanonical
和cross_decomposition.PLSRegression
新增了inverse_transform
函数,用于将数据转换回原始空间。 #15304 由 Jaime Ferrando Huertas 提交。Enhancement
decomposition.KernelPCA
现在会正确检查求解器找到的特征值是否存在数值或条件问题。这确保了不同求解器(不同的eigen_solver
选择)之间结果的一致性,包括'randomized'
和'lobpcg'
等近似求解器(参见 #12068 )。 #12145 由 Sylvain Marié 提交。Fix 修复了一个错误,当
cross_decomposition.PLSCanonical
和cross_decomposition.PLSRegression
使用目标矩阵Y
进行拟合时,如果Y
的第一列是常数,则会引发错误。 #13609 由 Camila Williamson 提交。Fix
cross_decomposition.CCA
现在在 scipy 1.3 和之前的 scipy 版本中产生相同的结果。#15661 由 Thomas Fan 提交。
sklearn.datasets
#
Feature
datasets.fetch_openml
现在支持使用 pandas 处理异构数据,通过设置as_frame=True
。#13902 由 Thomas Fan 提交。Feature
datasets.fetch_openml
现在在返回的 Bunch 中包含target_names
。#15160 由 Thomas Fan 提交。Enhancement 参数
return_X_y
已添加到datasets.fetch_20newsgroups
和datasets.fetch_olivetti_faces
中。#14259 由 Sourav Singh 提交。Enhancement
datasets.make_classification
现在接受类似数组的weights
参数,即列表或 numpy.array,而不仅仅是列表。#14764 由 Cat Chenal 提交。Enhancement 参数
normalize
被添加到datasets.fetch_20newsgroups_vectorized
中。 #14740 由 Stéphan Tulkens 贡献。Fix 修复了
datasets.fetch_openml
中的一个错误,该错误导致无法加载 包含被忽略特征的 OpenML 数据集。 #14623 由 Sarra Habchi 贡献。
sklearn.decomposition
#
Efficiency 使用
solver="mu"
的decomposition.NMF
在稀疏输入矩阵上拟合时, 现在使用批处理来避免短暂分配一个大小为 (#非零元素, n_components) 的数组。 #15257 由 Mart Willocx 贡献。Enhancement
decomposition.dict_learning
和decomposition.dict_learning_online
现在接受method_max_iter
参数, 并将其传递给decomposition.sparse_encode
。 #12650 由 Adrin Jalali 贡献。Enhancement
decomposition.SparseCoder
、decomposition.DictionaryLearning
和decomposition.MiniBatchDictionaryLearning
现在接受一个transform_max_iter
参数,并将其传递给decomposition.dict_learning
或decomposition.sparse_encode
。 #12650 由 Adrin Jalali 贡献。Enhancement
decomposition.IncrementalPCA
现在接受稀疏矩阵作为输入, 将其分批转换为密集矩阵,从而避免一次性存储整个密集矩阵。 #13960 由 Scott Gigante 贡献。Fix
decomposition.sparse_encode
现在在algorithm='lasso_lars'
时 将max_iter
传递给底层的linear_model.LassoLars
。 #12650 由 Adrin Jalali 贡献。
sklearn.dummy
#
Fix
dummy.DummyClassifier
现在处理在多输出情况下检查提供的常量是否存在。 #14908 由 Martina G. Vilas 贡献。API Change
strategy
参数的默认值在
dummy.DummyClassifier
的默认值将从 0.22 版本的 'stratified'
更改为 0.24 版本的 'prior'
。当使用默认值时,会引发一个 FutureWarning。#15382 由 Thomas Fan 提交。
API Change
outputs_2d_
属性在dummy.DummyClassifier
和dummy.DummyRegressor
中已被弃用。它等同于n_outputs > 1
。#14933 由 Nicolas Hug 提交。
sklearn.ensemble
#
Major Feature 添加了
ensemble.StackingClassifier
和ensemble.StackingRegressor
,用于使用最终分类器或回归器堆叠预测器。#11047 由 Guillaume Lemaitre 和 Caio Oliveira 以及 #15138 由 Jon Cusick 提交。Major Feature 对
ensemble.HistGradientBoostingClassifier
和ensemble.HistGradientBoostingRegressor
进行了许多改进:Feature 估计器现在原生支持带有缺失值的密集数据,无论是在训练还是预测时。它们还支持无限值。#13911 和 #14406 由 Nicolas Hug 、 Adrin Jalali 和 Olivier Grisel 提交。
Feature 估计器现在有一个额外的
warm_start
参数,可以启用热启动。#14012 由 Johann Faouzi 提交。Feature
inspection.partial_dependence
和inspection.plot_partial_dependence
现在支持针对这两种估计器的快速 ‘recursion’ 方法。#13769 由 Nicolas Hug 提交。Enhancement 对于
ensemble.HistGradientBoostingClassifier
,训练损失或得分现在在按类别分层的子样本上进行监控,以保持原始训练集的类别平衡。#14194 由 Johann Faouzi 提交。Enhancement
ensemble.HistGradientBoostingRegressor
现在支持 ‘least_absolute_deviation’ 损失。#13896 由 Nicolas Hug 提交。
Fix 估计器现在分别对训练和验证数据进行分箱,以避免任何数据泄露。#13933 由 Nicolas Hug 提交。
Fix 修复了一个早期停止在字符串目标上会中断的错误。#14710 由 Guillaume Lemaitre 提交。
Fix
ensemble.HistGradientBoostingClassifier
现在会在二分类问题中给出categorical_crossentropy
损失时引发错误。#14869 由 Adrin Jalali 提交。请注意,0.21 版本的 pickles 在 0.22 版本中将无法使用。
Enhancement 添加了
max_samples
参数,允许限制自助样本的大小小于数据集的大小。添加到ensemble.RandomForestClassifier
、ensemble.RandomForestRegressor
、ensemble.ExtraTreesClassifier
、ensemble.ExtraTreesRegressor
。#14682 由 Matt Hancock 和 #5963 由 Pablo Duboue 提交。Fix
ensemble.VotingClassifier.predict_proba
在voting='hard'
时将不再存在。#14287 由 Thomas Fan 提交。Fix
ensemble.VotingClassifier
和ensemble.VotingRegressor
中的named_estimators_
属性现在正确映射到被丢弃的估计器。以前,每当其中一个估计器被丢弃时,named_estimators_
映射都是不正确的。#15375 由 Thomas Fan 提交。Fix 默认运行
utils.estimator_checks.check_estimator
在ensemble.VotingClassifier
和ensemble.VotingRegressor
上。这解决了在predict
期间由于底层估计器输出不一致的数组维度而导致的问题。请注意,未来应通过重构通用测试来替换它。#14305 由 Guillaume Lemaitre 提交。Fix
ensemble.AdaBoostClassifier
根据文献中的决策函数计算概率。因此,predict
和predict_proba
给出了一致的结果。 #14114 由 Guillaume Lemaitre 提交。Fix 堆叠和投票估计器现在确保它们的底层估计器要么全是分类器,要么全是回归器。
ensemble.StackingClassifier
,ensemble.StackingRegressor
, 以及ensemble.VotingClassifier
和ensemble.VotingRegressor
现在会抛出一致的错误信息。 #15084 由 Guillaume Lemaitre 提交。Fix
ensemble.AdaBoostRegressor
中损失应仅对具有非零权重的样本的最大值进行归一化。 #14294 由 Guillaume Lemaitre 提交。API Change
presort
在ensemble.GradientBoostingClassifier
和ensemble.GradientBoostingRegressor
中已被弃用,并且该参数不再生效。 建议用户使用ensemble.HistGradientBoostingClassifier
和ensemble.HistGradientBoostingRegressor
替代。 #14907 由 Adrin Jalali 提交。
sklearn.feature_extraction
#
Enhancement 如果参数选择意味着在调用
feature_extraction.text.HashingVectorizer
,feature_extraction.text.CountVectorizer
和feature_extraction.text.TfidfVectorizer
的 fit() 方法时另一个参数将不被使用, 现在会抛出警告。 #14602 由 Gaurav Chawla 提交。Fix 由
feature_extraction.text.VectorizerMixin
的build_preprocessor
和build_analyzer
创建的函数现在可以被序列化。 #14430 由 Dillon Niederhut 提交。Fix
feature_extraction.text.strip_accents_unicode
现在能正确地从处于 NFKD 规范化形式的字符串中 移除重音。#15100 由 Daniel Grady 提交。Fix 修复了一个导致
feature_extraction.DictVectorizer
在处理大型输入数据时, 生成scipy.sparse
矩阵的transform
操作中抛出OverflowError
的错误。 #15463 由 Norvan Sahiner 提交。API Change 已弃用未使用的
copy
参数,用于feature_extraction.text.TfidfVectorizer.transform
,将在 v0.24 中移除。#14520 由 Guillem G. Subies 提交。
sklearn.feature_selection
#
Enhancement 更新了以下
sklearn.feature_selection
估计器,以允许在transform
和fit
中使用 NaN/Inf 值:feature_selection.RFE
、feature_selection.RFECV
、feature_selection.SelectFromModel
和feature_selection.VarianceThreshold
。请注意,如果特征选择器的底层估计器不允许 NaN/Inf,则仍会报错,但特征选择器本身不再不必要地强制执行此限制。#11635 由 Alec Peters 提交。Fix 修复了一个错误,即当
threshold=0
时,feature_selection.VarianceThreshold
由于数值不稳定而未移除常量特征,通过在这种情况下使用范围而不是方差来解决。#13704 由 Roddy MacSween 提交。
sklearn.gaussian_process
#
Feature 结构化数据上的高斯过程模型:
gaussian_process.GaussianProcessRegressor
和gaussian_process.GaussianProcessClassifier
现在可以接受一个通用对象列表(例如字符串、树、图等)作为其训练/预测方法的X
参数。 用户定义的内核应提供用于计算通用对象之间内核矩阵的功能,并且应继承自gaussian_process.kernels.GenericKernelMixin
,以通知 GPR/GPC 模型它处理非向量样本。#15557 由 Yu-Hang Tang 提交。Efficiency
gaussian_process.GaussianProcessClassifier.log_marginal_likelihood
和gaussian_process.GaussianProcessRegressor.log_marginal_likelihood
现在接受一个clone_kernel=True
关键字参数。当设置为False
时,
内核属性被修改,但可能会带来性能提升。 #14378 由 Masashi Shibata 提交。
API Change 从版本 0.24 开始,
gaussian_process.kernels.Kernel.get_params
将引发一个AttributeError
,而不是返回None
对于那些在估计器的构造函数中存在但未作为实例属性存储的参数。 #14464 由 Joel Nothman 提交。
sklearn.impute
#
Major Feature 新增
impute.KNNImputer
,用于使用 k-近邻方法填补缺失值。 #12852 由 Ashim Bhattarai 和 Thomas Fan 以及 #15010 由 Guillaume Lemaitre 提交。Feature
impute.IterativeImputer
新增skip_compute
标志,默认为 False,当设置为 True 时,将在拟合阶段跳过没有缺失值的特征的计算。 #13773 由 Sergey Feldman 提交。Efficiency
impute.MissingIndicator.fit_transform
避免重复计算掩码矩阵。 #14356 由 Harsh Soni 提交。Fix
impute.IterativeImputer
现在可以在只有一个特征的情况下工作。 由 Sergey Feldman 提交。Fix 修复了
impute.IterativeImputer
中的一个错误,该错误导致特征在imputation_order
为"ascending"
或"descending"
时以相反的期望顺序进行填补。 #15393 由 Venkatachalam N 提交。
sklearn.inspection
#
Major Feature 新增
inspection.permutation_importance
,用于测量任意训练模型中每个特征相对于给定评分函数的重要性。 #13146 由 Thomas Fan 提交。Feature
inspection.partial_dependence
和inspection.plot_partial_dependence
现在支持ensemble.HistGradientBoostingClassifier
和ensemble.HistGradientBoostingRegressor
的快速 ‘recursion’ 方法。 #13769 由 Thomas Fan 提交。
Enhancement
inspection.plot_partial_dependence
已扩展,现在支持用户指南中描述的新可视化 API (用户指南 )。#14646 由 Thomas Fan 贡献。Enhancement
inspection.partial_dependence
接受 pandas DataFrame 和包含compose.ColumnTransformer
的pipeline.Pipeline
。此外,当传递 DataFrame 时,inspection.plot_partial_dependence
将默认使用列名。#14028 和 #15429 由 Guillaume Lemaitre 贡献。
sklearn.kernel_approximation
#
Fix 修复了在使用
kernel="precomputed"
时kernel_approximation.Nystroem
引发KeyError
的错误。#14706 由 Venkatachalam N 贡献。
sklearn.linear_model
#
Efficiency ‘liblinear’ 逻辑回归求解器现在更快且需要更少的内存。#14108 , #14170 , #14296 由 Alex Henrie 贡献。
Enhancement
linear_model.BayesianRidge
现在接受超参数alpha_init
和lambda_init
,可用于设置 fit 中最大化过程的初始值。#13618 由 Yoshihiro Uchida 贡献。Fix
linear_model.Ridge
现在在X
为稀疏矩阵、solver="auto"
且fit_intercept=True
时正确拟合截距,因为此配置中的默认求解器已更改为sparse_cg
,它可以使用稀疏数据拟合截距。#13995 由 Jérôme Dockès 贡献。Fix 使用
solver='sag'
的linear_model.Ridge
现在接受 F 顺序和非连续数组,并进行转换而不是失败。#14458 由 Guillaume Lemaitre 贡献。Fix
linear_model.LassoCV
在拟合最终模型时不再强制precompute=False
。#14591 由 Andreas Müller 贡献。Fix
linear_model.RidgeCV
和linear_model.RidgeClassifierCV
现在在cv=None
时正确评分。 #14864 由 Venkatachalam N 贡献。Fix 修复了
linear_model.LogisticRegressionCV
中的一个错误,其中scores_
、n_iter_
和coefs_paths_
属性在penalty='elastic-net'
时顺序错误。 #15044 由 Nicolas Hug 贡献。Fix
linear_model.MultiTaskLassoCV
和linear_model.MultiTaskElasticNetCV
在 X 为 int 类型且fit_intercept=True
时。 #15086 由 Alex Gramfort 贡献。Fix liblinear 求解器现在支持
sample_weight
。 #15038 由 Guillaume Lemaitre 贡献。
sklearn.manifold
#
Feature
manifold.Isomap
、manifold.TSNE
和manifold.SpectralEmbedding
现在接受预计算的稀疏邻居图作为输入。 #10482 由 Tom Dupre la Tour 和 Kumar Ashutosh 贡献。Feature 在
manifold.TSNE
中公开了n_jobs
参数,用于多核计算邻居图。 当metric="precomputed"
或 (metric="euclidean"
且method="exact"
) 时,此参数无影响。 #15082 由 Roman Yurchak 贡献。Efficiency 通过并行计算梯度,提高了
method="barnes-hut"
时manifold.TSNE
的效率。 #13213 由 Thomas Moreau 贡献。Fix 修复了一个错误,其中
manifold.spectral_embedding
(因此manifold.SpectralEmbedding
和cluster.SpectralClustering
) 在eigen_solver='amg'
且n_samples < 5 * n_components
时计算错误的特征值。 #14647 由 Andreas Müller 贡献。Fix 修复了
manifold.spectral_embedding
在manifold.SpectralEmbedding
和cluster.SpectralClustering
中使用的错误, 其中eigen_solver="amg"
有时会导致 LinAlgError。 #13393 由 Andrew Knyazev 提交 #13707 由 Scott White 提交API Change 弃用
manifold.Isomap
中未使用的training_data_
属性。#10482 由 Tom Dupre la Tour 提交。
sklearn.metrics
#
Major Feature
metrics.plot_roc_curve
已添加,用于绘制 ROC 曲线。此函数引入了 用户指南 中描述的可视化 API。#14357 由 Thomas Fan 提交。Feature 为多个分类指标添加了新的参数
zero_division
:metrics.precision_score
,metrics.recall_score
,metrics.f1_score
,metrics.fbeta_score
,metrics.precision_recall_fscore_support
,metrics.classification_report
。这允许为定义不明确的指标设置返回值。#14900 由 Marc Torrellas Socastro 提交。Feature 添加了
metrics.pairwise.nan_euclidean_distances
指标,该指标在存在缺失值的情况下计算欧几里得距离。#12852 由 Ashim Bhattarai 和 Thomas Fan 提交。Feature 新增了排名指标
metrics.ndcg_score
和metrics.dcg_score
,用于计算折现累积增益和归一化折现累积增益。#9951 由 Jérôme Dockès 提交。Feature
metrics.plot_precision_recall_curve
已添加,用于绘制精确召回曲线。#14936 由 Thomas Fan 提交。Feature
metrics.plot_confusion_matrix
已添加,用于绘制混淆矩阵。#15083 由 Thomas Fan 提交。Feature 为
metrics.roc_auc_score
添加了多类支持,并相应地添加了评分器'roc_auc_ovr'
,'roc_auc_ovo'
,'roc_auc_ovr_weighted'
, 和'roc_auc_ovo_weighted'
。#12789 和 #15274 由 Kathy Chen , Mohamed Maskani , 和 Thomas Fan 提交。Feature 添加了
metrics.mean_tweedie_deviance
用于测量给定power
参数的 Tweedie 偏差。还添加了均值泊松偏差metrics.mean_poisson_deviance
和均值伽马偏差metrics.mean_gamma_deviance
,它们分别是power=1
和power=2
时 Tweedie 偏差的特例。#13938 由 Christian Lorentzen 和 Roman Yurchak 贡献。Efficiency 改进了在稀疏矩阵情况下
metrics.pairwise.manhattan_distances
的性能。#15049 由Paolo Toccaceli <ptocca>
贡献。Enhancement
metrics.fbeta_score
中的参数beta
更新为接受零值和float('+inf')
值。#13231 由 Dong-hee Na 贡献。Enhancement 在
metrics.mean_squared_error
中添加了参数squared
,以返回均方根误差。#13467 由 Urvang Patel 贡献。Enhancement 允许在没有真正正值的情况下计算平均指标。#14595 由 Andreas Müller 贡献。
Enhancement 多标签指标现在支持列表的列表作为输入。#14865 由 Srivatsan Ramesh 、Herilalaina Rakotoarison 、Léonard Binet 贡献。
Enhancement
metrics.median_absolute_error
现在支持multioutput
参数。#14732 由 Agamemnon Krasoulis 贡献。Enhancement ‘roc_auc_ovr_weighted’ 和 ‘roc_auc_ovo_weighted’ 现在可以用作模型选择工具的 scoring 参数。#14417 由 Thomas Fan 贡献。
Enhancement
metrics.confusion_matrix
接受一个normalize
参数,允许按列、行或整体归一化混淆矩阵。#15625 由Guillaume Lemaitre <glemaitre>
贡献。Fix 当预计算的距离矩阵包含非零对角线项时,在
metrics.silhouette_score
中引发 ValueError。 #12258 由 Stephen Tierney 提交。API Change 应使用
scoring="neg_brier_score"
代替已弃用的scoring="brier_score_loss"
。 #14898 由 Stefan Matcovici 提交。
sklearn.model_selection
#
Efficiency 改进了
model_selection.cross_validate
、model_selection.GridSearchCV
和model_selection.RandomizedSearchCV
中的多指标评分性能。 #14593 由 Thomas Fan 提交。Enhancement
model_selection.learning_curve
现在接受参数return_times
, 可用于检索计算时间以绘制模型可扩展性(参见 learning_curve 示例)。 #13938 由 Hadrien Reboul 提交。Enhancement
model_selection.RandomizedSearchCV
现在接受参数分布列表。 #14549 由 Andreas Müller 提交。Fix 重新实现了
model_selection.StratifiedKFold
以修复一个测试集可能比另一个大n_classes
的问题。 现在测试集的大小应该接近相等。 #14704 由 Joel Nothman 提交。Fix
model_selection.GridSearchCV
和model_selection.RandomizedSearchCV
的cv_results_
属性现在仅包含未拟合的估计器。 这可能会节省大量内存,因为估计器的状态不会被存储。 ##15096 由 Andreas Müller 提交。API Change
model_selection.KFold
和model_selection.StratifiedKFold
现在会在random_state
被设置但shuffle
为 False 时发出警告。 这在 0.24 版本中将引发错误。
sklearn.multioutput
#
Fix
multioutput.MultiOutputClassifier
现在具有属性classes_
。 #14629 由 Agamemnon Krasoulis 提交。Fix
multioutput.MultiOutputClassifier
现在具有predict_proba
属性,并且可以通过hasattr
进行检查。
#15488 #15490 由 Rebekah Kim 提交
sklearn.naive_bayes
#
Major Feature 新增
naive_bayes.CategoricalNB
,实现了分类朴素贝叶斯分类器。 #12569 由 Tim Bicker 和 Florian Wilhelm 提交。
sklearn.neighbors
#
Major Feature 新增
neighbors.KNeighborsTransformer
和neighbors.RadiusNeighborsTransformer
,它们将输入数据集转换为稀疏邻域图。 这些转换器提供了对最近邻计算的更精细控制,并支持多次使用的管道缓存。 #10482 由 Tom Dupre la Tour 提交。Feature
neighbors.KNeighborsClassifier
,neighbors.KNeighborsRegressor
,neighbors.RadiusNeighborsClassifier
,neighbors.RadiusNeighborsRegressor
, 以及neighbors.LocalOutlierFactor
现在接受预计算的稀疏邻域图作为输入。 #10482 由 Tom Dupre la Tour 和 Kumar Ashutosh 提交。Feature
neighbors.RadiusNeighborsClassifier
现在支持通过predict_proba
预测概率,并支持更多的异常标签选项:’most_frequent’,或为多输出提供不同的异常标签。 #9597 由 Wenbo Zhao 提交。Efficiency 对
neighbors.RadiusNeighborsClassifier.predict
的效率改进。 #9597 由 Wenbo Zhao 提交。Fix
neighbors.KNeighborsRegressor
现在在metric='precomputed'
且拟合非方阵数据时抛出错误。 #14336 由 Gregory Dexter 提交。
sklearn.neural_network
#
Feature 在
neural_network.BaseMultilayerPerceptron
、neural_network.MLPRegressor
和neural_network.MLPClassifier
中添加max_fun
参数,以控制函数调用的最大次数。
最大函数评估次数,未达到 tol
改进。
#9274 由 Daniel Perry 提交。
sklearn.pipeline
#
Enhancement
pipeline.Pipeline
现在支持 score_samples ,如果最终估计器支持的话。 #13806 由 Anaël Beaugnon 提交。Fix
FeatureUnion
中的fit
现在接受fit_params
, 以传递给底层转换器。#15119 由 Adrin Jalali 提交。API Change 在
pipeline.FeatureUnion
中使用None
作为转换器现已弃用。 请改用'drop'
。#15053 由 Thomas Fan 提交。
sklearn.preprocessing
#
Efficiency 当输入数据为密集时,
preprocessing.PolynomialFeatures
现在更快。 #13290 由 Xavier Dupré 提交。Enhancement 在拟合预处理器
preprocessing.StandardScaler
、preprocessing.MinMaxScaler
、preprocessing.MaxAbsScaler
、preprocessing.RobustScaler
和preprocessing.QuantileTransformer
时避免不必要的数据复制,从而略微提高性能。 #13987 由 Roman Yurchak 提交。Fix 当拟合非方形的
preprocessing.KernelCenterer
时,KernelCenterer 现在会抛出错误。 #14336 由 Gregory Dexter 提交。
sklearn.model_selection
#
Fix
model_selection.GridSearchCV
和model_selection.RandomizedSearchCV
现在支持_pairwise
属性,这可以防止在具有成对输入的估计器(例如当 metric 设置为 ‘precomputed’ 时的neighbors.KNeighborsClassifier
)进行交叉验证时出现错误。 #13925 由 Isaac S. Robson 和 #15524 由 Xun Tang 提交。
sklearn.svm
#
break_ties
参数。此参数导致 predict 根据 decision_function 的置信度值来打破平局,如果decision_function_shape='ovr'
,并且目标类别数 > 2。#12557 由 Adrin Jalali 提交。
Enhancement SVM 估计器现在在
kernel='precomputed'
且拟合非方阵数据时抛出更具体的错误。#14336 由 Gregory Dexter 提交。Fix
svm.SVC
,svm.SVR
,svm.NuSVR
和svm.OneClassSVM
在方法 fit() 中接收到的参数sample_weight
为负数或零时,生成了无效模型。此行为仅在某些边界场景中发生。现在在这些情况下,fit() 将抛出异常。#14286 由 Alex Shacked 提交。Fix
svm.SVR
和svm.OneClassSVM
的n_support_
属性之前未初始化,大小为 2。现在大小为 1,并具有正确的值。#15099 由 Nicolas Hug 提交。Fix 修复了
BaseLibSVM._sparse_fit
中的一个错误,其中 n_SV=0 引发了 ZeroDivisionError。#14894 由 Danna Naser 提交。Fix liblinear 求解器现在支持
sample_weight
。#15038 由 Guillaume Lemaitre 提交。
sklearn.tree
#
Feature 增加了最小成本复杂度剪枝,由
ccp_alpha
控制,适用于tree.DecisionTreeClassifier
,tree.DecisionTreeRegressor
,tree.ExtraTreeClassifier
,tree.ExtraTreeRegressor
,ensemble.RandomForestClassifier
,ensemble.RandomForestRegressor
,ensemble.ExtraTreesClassifier
,ensemble.ExtraTreesRegressor
,ensemble.GradientBoostingClassifier
, 和ensemble.GradientBoostingRegressor
。#12887 由 Thomas Fan 提交。API Change
presort
在tree.DecisionTreeClassifier
和tree.DecisionTreeRegressor
,并且该参数没有效果。 #14907 由 Adrin Jalali 提交。API Change
tree.DecisionTreeRegressor
的classes_
和n_classes_
属性现已弃用。#15028 由 Mei Guan 、 Nicolas Hug 和 Adrin Jalali 提交。
sklearn.utils
#
Feature
check_estimator
现在可以通过设置generate_only=True
来生成检查。以前,运行check_estimator
会在第一个检查失败时停止。通过generate_only=True
,所有检查可以独立运行并报告失败的检查。更多信息请参阅 自定义估计器 。#14381 由 Thomas Fan 提交。Feature 添加了一个特定于 pytest 的装饰器,
parametrize_with_checks
,用于为一系列估计器参数化估计器检查。#14381 由 Thomas Fan 提交。Feature 新增了一个随机变量
utils.fixes.loguniform
,实现了对数均匀随机变量(例如,用于 RandomizedSearchCV)。 例如,对于loguniform(1, 100)
,结果1
、10
和100
的概率是相等的。参见 #11232 由 Scott Sievert 和 Nathaniel Saul 提交, 以及SciPy PR 10815 <https://github.com/scipy/scipy/pull/10815>
。Enhancement
utils.safe_indexing
(现已弃用)接受一个axis
参数,用于对数组类对象进行行和列索引。列索引可以对 NumPy 数组、SciPy 稀疏矩阵和 Pandas DataFrame 进行。另外还进行了一些重构。#14035 和 #14475 由 Guillaume Lemaitre 提交。Enhancement
utils.extmath.safe_sparse_dot
可以在 3D+ ndarray 和稀疏矩阵之间工作。 #14538 由 Jérémie du Boisberranger 提交。Fix
utils.check_array
现在会引发错误而不是将 NaN 转换为整数。 #14872 由 Roman Yurchak 提交。Fix
utils.check_array
现在能够正确检测 pandas 数据框中的数值类型,修复了一个 bug,该 bug 导致float32
不必要地向上转换为float64
。#15094 由 Andreas Müller 提交。API Change 以下工具函数已被弃用并转为私有:
choose_check_classifiers_labels
enforce_estimator_tags_y
mocking.MockDataFrame
mocking.CheckingClassifier
optimize.newton_cg
random.random_choice_csc
utils.choose_check_classifiers_labels
utils.enforce_estimator_tags_y
utils.optimize.newton_cg
utils.random.random_choice_csc
utils.safe_indexing
utils.mocking
utils.fast_dict
utils.seq_dataset
utils.weight_vector
utils.fixes.parallel_helper
(已移除)所有
utils.testing
中的内容,除了现在位于utils
中的all_estimators
。
sklearn.isotonic
#
Fix 修复了一个 bug,当
X.dtype == 'float32'
且X.dtype != y.dtype
时,isotonic.IsotonicRegression.fit
会引发错误。#14902 由 Lucas 提交。
其他#
Fix 从 SciPy 移植
lobpcg
,实现了一些 bug 修复,但仅在 1.3+ 版本中可用。#13609 和 #14971 由 Guillaume Lemaitre 提交。API Change Scikit-learn 现在将任何实现鸭子数组的数据结构转换为 numpy 数组(使用
__array__
),以确保一致的行为,而不是依赖于__array_function__
(参见 NEP 18 )。#14702 由 Andreas Müller 提交。API Change 用
check_is_fitted
替换手动检查。使用未拟合的估计器时抛出的错误现在更加统一。#13013 由 Agamemnon Krasoulis 提交。
估计器检查的变更#
这些变更主要影响库的开发者。
- 现在,如果 predict
或 transform
在 fit
之前被调用,估计器应抛出 NotFittedError
;之前抛出 AttributeError
或 ValueError
也是可以接受的。
#13013 由 Agamemnon Krasoulis 贡献。
现在支持仅二分类的分类器在估计器检查中。 这类分类器需要有
binary_only=True
估计器标签。 #13875 由 Trevor Stephens 贡献。估计器应将输入数据(
X
,y
,sample_weights
)转换为numpy.ndarray
,并且永远不要在传递的原始数据类型上调用__array_function__
(参见 NEP 18 )。 #14702 由 Andreas Müller 贡献。requires_positive_X
估计器标签(适用于需要 X 为非负的模型)现在被utils.estimator_checks.check_estimator
使用,以确保在 X 包含一些负值条目时抛出适当的错误消息。 #14680 由 Alex Gramfort 贡献。添加了检查成对估计器在非方阵数据上抛出错误的检查 #14336 由 Gregory Dexter 贡献。
添加了两个常见的多输出估计器测试
utils.estimator_checks.check_classifier_multioutput
和utils.estimator_checks.check_regressor_multioutput
。 #13392 由 Rok Mihevc 贡献。Fix 在缺失的检查中添加了
check_transformer_data_not_an_array
Fix 估计器标签解析现在遵循常规的 MRO。它们以前只能被覆盖一次。#14884 由 Andreas Müller 贡献。
代码和文档贡献者
感谢自版本 0.21 以来为项目的维护和改进做出贡献的每一个人,包括:
Aaron Alphonsus, Abbie Popa, Abdur-Rahmaan Janhangeer, abenbihi, Abhinav Sagar, Abhishek Jana, Abraham K. Lagat, Adam J. Stewart, Aditya Vyas, Adrin Jalali, Agamemnon Krasoulis, Alec Peters, Alessandro Surace, Alexandre de Siqueira, Alexandre Gramfort, alexgoryainov, Alex Henrie, Alex Itkes, alexshacked, Allen Akinkunle, Anaël Beaugnon, Anders Kaseorg, Andrea Maldonado, Andrea Navarrete, Andreas Mueller, Andreas Schuderer, Andrew Nystrom, Angela Ambroz, Anisha Keshavan, Ankit Jha, Antonio Gutierrez, Anuja Kelkar, Archana Alva, arnaudstiegler, arpanchowdhry, ashimb9, Ayomide Bamidele, Baran Buluttekin, barrycg, Bharat Raghunathan, Bill Mill, Biswadip Mandal, blackd0t, Brian G. Barkley, Brian Wignall, Bryan Yang, c56pony, camilaagw, cartman_nabana, catajara, Cat Chenal, Cathy, cgsavard, Charles Vesteghem, Chiara Marmo, Chris Gregory, Christian Lorentzen, Christos Aridas, Dakota Grusak, Daniel Grady, Daniel Perry, Danna Naser, DatenBergwerk, David Dormagen, deeplook, Dillon Niederhut, Dong-hee Na, Dougal J. Sutherland, DrGFreeman, Dylan Cashman, edvardlindelof, Eric Larson, Eric Ndirangu, Eunseop Jeong, Fanny, federicopisanu, Felix Divo, flaviomorelli, FranciDona, Franco M. Luque, Frank Hoang, Frederic Haase, g0g0gadget, Gabriel Altay, Gabriel do Vale Rios, Gael Varoquaux, ganevgv, gdex1, getgaurav2, Gideon Sonoiya, Gordon Chen, gpapadok, Greg Mogavero, Grzegorz Szpak, Guillaume Lemaitre, Guillem García Subies, H4dr1en, hadshirt, Hailey Nguyen, Hanmin Qin, Hannah Bruce Macdonald, Harsh Mahajan, Harsh Soni, Honglu Zhang, Hossein Pourbozorg, Ian Sanders, Ingrid Spielman, J-A16, jaehong park, Jaime Ferrando Huertas, James Hill, James Myatt, Jay, jeremiedbb, Jérémie du Boisberranger, jeromedockes, Jesper Dramsch, Joan Massich, Joanna Zhang, Joel Nothman, Johann Faouzi, Jonathan Rahn, Jon Cusick, Jose Ortiz, Kanika Sabharwal, Katarina Slama, kellycarmody, Kennedy Kang’ethe, Kensuke Arai, Kesshi Jordan, Kevad, Kevin Loftis, Kevin Winata, Kevin Yu-Sheng Li, Kirill Dolmatov, Kirthi Shankar Sivamani, krishna katyal, Lakshmi Krishnan, Lakshya KD, LalliAcqua, lbfin, Leland McInnes, Léonard Binet, Loic Esteve, loopyme, lostcoaster, Louis Huynh, lrjball, Luca Ionescu, Lutz Roeder, MaggieChege, Maithreyi Venkatesh, Maltimore, Maocx, Marc Torrellas, Marie Douriez, Markus, Markus Frey, Martina G. Vilas, Martin Oywa, Martin Thoma, Masashi SHIBATA, Maxwell Aladago, mbillingr, m-clare, Meghann Agarwal, m.fab, Micah Smith, miguelbarao, Miguel Cabrera, Mina Naghshhnejad, Ming Li, motmoti, mschaffenroth, mthorrell, Natasha Borders, nezar-a, Nicolas Hug, Nidhin Pattaniyil, Nikita Titov, Nishan Singh Mann, Nitya Mandyam, norvan, notmatthancock, novaya, nxorable, Oleg Stikhin, Oleksandr Pavlyk, Olivier Grisel, Omar Saleem, Owen Flanagan, panpiort8, Paolo, Paolo Toccaceli, Paresh Mathur, Paula, Peng Yu, Peter Marko, pierretallotte, poorna-kumar, pspachtholz, qdeffense, Rajat Garg, Raphaël Bournhonesque, Ray, Ray Bell, Rebekah Kim, Reza Gharibi, Richard Payne, Richard W, rlms, Robert Juergens, Rok Mihevc, Roman Feldbauer, Roman Yurchak, R Sanjabi, RuchitaGarde, Ruth Waithera, Sackey, Sam Dixon, Samesh Lakhotia, Samuel Taylor, Sarra Habchi, Scott Gigante, Scott Sievert, Scott White, Sebastian Pölsterl, Sergey Feldman, SeWook Oh, she-dares, Shreya V, Shubham Mehta, Shuzhe Xiao, SimonCW, smarie, smujjiga, Sönke Behrends, Soumirai, Sourav Singh, stefan-matcovici, steinfurt, Stéphane Couvreur, Stephan Tulkens, Stephen Cowley, Stephen Tierney, SylvainLan, th0rwas, theoptips, theotheo, Thierno Ibrahima DIOP, Thomas Edwards, Thomas J Fan, Thomas Moreau, Thomas Schmitt, Tilen Kusterle, Tim Bicker, Timsaur, Tim Staley, Tirth Patel, Tola A, Tom Augspurger, Tom Dupré la Tour, topisan, Trevor Stephens, ttang131, Urvang Patel, Vathsala Achar, veerlosar, Venkatachalam N, Victor Luzgin, Vincent Jeanselme, Vincent Lostanlen, Vladimir Korolev, vnherdeiro, Wenbo Zhao, Wendy Hu, willdarnell, William de Vazelhes, wolframalpha, xavier dupré, xcjason, x-martian, xsat, xun-tang, Yinglr, yokasre, Yu-Hang “Maxin” Tang, Yulia Zamriy, Zhao Feng