ElasticNet

class sklearn.linear_model.ElasticNet(alpha=1.0, *, l1_ratio=0.5, fit_intercept=True, precompute=False, max_iter=1000, copy_X=True, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyclic')

线性回归结合了L1和L2先验作为正则化项。

最小化目标函数:

1 / (2 * n_samples) * ||y - Xw||^2_2
+ alpha * l1_ratio * ||w||_1
+ 0.5 * alpha * (1 - l1_ratio) * ||w||^2_2

如果你有兴趣分别控制L1和L2惩罚，请记住这等同于:

a * ||w||_1 + 0.5 * b * ||w||_2^2

其中:

alpha = a + b 且 l1_ratio = a / (a + b)

参数l1_ratio对应于glmnet R包中的alpha，而alpha对应于glmnet中的lambda参数。具体来说，l1_ratio = 1是lasso惩罚。目前，l1_ratio <= 0.01并不可靠，除非你提供自己的alpha序列。

更多信息请参阅 用户指南 。

Parameters:

alphafloat, default=1.0

常数，乘以惩罚项。默认为1.0。 请参阅注释以了解此参数的确切数学含义。 alpha = 0 等同于普通最小二乘法， 由 LinearRegression 对象解决。出于数值原因，不建议将 alpha = 0 与 Lasso 对象一起使用。 在这种情况下，你应该使用 LinearRegression 对象。

l1_ratiofloat, default=0.5

ElasticNet混合参数，范围为 0 <= l1_ratio <= 1 。对于 l1_ratio = 0 ，惩罚是L2惩罚。对于 l1_ratio = 1 ， 惩罚是L1惩罚。对于 0 < l1_ratio < 1 ，惩罚是L1和L2的组合。

fit_interceptbool, default=True

是否应该估计截距。如果为 False ，则假定数据已经中心化。

precomputebool or array-like of shape (n_features, n_features), default=False

是否使用预计算的Gram矩阵以加速计算。Gram矩阵也可以作为参数传递。 对于稀疏输入，此选项始终为 False 以保持稀疏性。 查看 如何使用预计算的Gram矩阵在ElasticNet中 的示例以获取详细信息。

max_iterint, default=1000

最大迭代次数。

copy_Xbool, default=True

如果为 True ，将复制X；否则，可能会覆盖X。

tolfloat, default=1e-4

优化的容差：如果更新小于 tol ，优化代码会检查 对偶间隙是否小于 tol ，直到满足条件为止，请参阅下面的注释。

warm_startbool, default=False

设置为 True 时，重用上一次调用fit的解作为初始化，否则，清除之前的解。 请参阅 术语表 。

positivebool, default=False

设置为 True 时，强制系数为正。

random_stateint, RandomState instance, default=None

选择随机特征进行更新的伪随机数生成器的种子。当 selection == ‘random’ 时使用。 传递一个int以在多次函数调用中重现输出。 请参阅 术语表 。

selection{‘cyclic’, ‘random’}, default=’cyclic’

如果设置为 ‘random’，每次迭代会随机更新一个系数， 而不是默认情况下按顺序循环更新特征。这（设置为 ‘random’）通常会显著加快收敛速度， 特别是当 tol 高于 1e-4 时。

Attributes:

coef_ndarray of shape (n_features,) or (n_targets, n_features)

参数向量（w在成本函数公式中）。

sparse_coef_sparse matrix of shape (n_features,) or (n_targets, n_features)

稀疏表示拟合的 coef_ 。

intercept_float or ndarray of shape (n_targets,)

决策函数中的独立项。

n_iter_list of int

坐标下降求解器运行到指定容差的迭代次数。

dual_gap_float or ndarray of shape (n_targets,)

给定参数alpha，优化结束时的对偶间隙，与y的每个观测值形状相同。

n_features_in_int

在 fit 过程中看到的特征数量。

Added in version 0.24.

feature_names_in_ndarray of shape ( n_features_in_ ,)

在 fit 过程中看到的特征名称。仅当 X 的特征名称均为字符串时定义。

Added in version 1.0.

See also

ElasticNetCV

通过交叉验证选择最佳模型的弹性网络模型。

SGDRegressor

实现增量训练的弹性网络回归。

SGDClassifier

实现带有弹性网络惩罚的逻辑回归 ( SGDClassifier(loss="log_loss", penalty="elasticnet") )。

Notes

为了避免不必要的内存复制，fit方法的X参数应直接传递为Fortran连续的numpy数组。

基于 tol 的精确停止标准如下：首先，检查 最大坐标更新，即 \(\max_j |w_j^{new} - w_j^{old}|\) 是否小于 tol 乘以最大绝对系数，\(\max_j |w_j|\) 。 如果是，则进一步检查对偶间隙是否小于 tol 乘以 \(||y||_2^2 / n_{ ext{samples}}\) 。

Examples

>>> from sklearn.linear_model import ElasticNet
>>> from sklearn.datasets import make_regression

>>> X, y = make_regression(n_features=2, random_state=0)
>>> regr = ElasticNet(random_state=0)
>>> regr.fit(X, y)
ElasticNet(random_state=0)
>>> print(regr.coef_)
[18.83816048 64.55968825]
>>> print(regr.intercept_)
1.451...
>>> print(regr.predict([[0, 0]]))
[1.451...]

fit(X, y, sample_weight=None, check_input=True)

拟合模型使用坐标下降法。

Parameters:

X{ndarray, sparse matrix, sparse array} of (n_samples, n_features)

数据。

注意，不接受需要 int64 索引的大型稀疏矩阵和数组。

yndarray of shape (n_samples,) or (n_samples, n_targets)

目标。如果必要，将被转换为X的数据类型。

sample_weightfloat or array-like of shape (n_samples,), default=None

样本权重。在内部， sample_weight 向量将被重新缩放，使其总和为 n_samples 。

Added in version 0.23.

check_inputbool, default=True

允许绕过多个输入检查。 除非你知道你在做什么，否则不要使用这个参数。

Returns:

selfobject

拟合的估计器。

Notes

坐标下降法是一种逐列考虑数据的算法，因此如有必要，它将自动将X输入转换为Fortran连续的numpy数组。

为了避免内存重新分配，建议直接使用该格式在内存中分配初始数据。

get_metadata_routing()

获取此对象的元数据路由。

请查看 用户指南 以了解路由机制的工作原理。

Returns:

routingMetadataRequest

MetadataRequest 封装的 路由信息。

get_params(deep=True)

获取此估计器的参数。

Parameters:

deepbool, 默认=True

如果为True，将返回此估计器和包含的子对象（也是估计器）的参数。

Returns:

paramsdict

参数名称映射到它们的值。

static path(X, y, *, l1_ratio=0.5, eps=0.001, n_alphas=100, alphas=None, precompute='auto', Xy=None, copy_X=True, coef_init=None, verbose=False, return_n_iter=False, positive=False, check_input=True, **params)

计算弹性网络路径使用坐标下降法。

弹性网络优化函数对于单输出和多输出任务有所不同。

对于单输出任务，它是:

1 / (2 * n_samples) * ||y - Xw||^2_2
+ alpha * l1_ratio * ||w||_1
+ 0.5 * alpha * (1 - l1_ratio) * ||w||^2_2

对于多输出任务，它是:

(1 / (2 * n_samples)) * ||Y - XW||_Fro^2
+ alpha * l1_ratio * ||W||_21
+ 0.5 * alpha * (1 - l1_ratio) * ||W||_Fro^2

其中:

||W||_21 = \sum_i \sqrt{\sum_j w_{ij}^2}

即每行的范数之和。

更多信息请参阅 用户指南 。

Parameters:

X{array-like, sparse matrix}，形状为 (n_samples, n_features)

训练数据。直接传递为 Fortran 连续数据以避免不必要的内存复制。如果 y 是单输出，则 X 可以是稀疏的。

y{array-like, sparse matrix}，形状为 (n_samples,) 或 (n_samples, n_targets)

目标值。

l1_ratiofloat, 默认=0.5

介于 0 和 1 之间的数字，传递给弹性网络（在 l1 和 l2 惩罚之间缩放）。 l1_ratio=1 对应于 Lasso。

epsfloat, 默认=1e-3

路径的长度。 eps=1e-3 意味着 alpha_min / alpha_max = 1e-3 。

n_alphasint, 默认=100

沿正则化路径的 alpha 数量。

alphasarray-like, 默认=None

计算模型的 alpha 列表。如果为 None，则自动设置 alpha。

precompute‘auto’, bool 或形状为 (n_features, n_features) 的 array-like, 默认=’auto’

是否使用预计算的 Gram 矩阵以加速计算。如果设置为 'auto' ，则由我们决定。Gram 矩阵也可以作为参数传递。

Xy形状为 (n_features,) 或 (n_features, n_targets) 的 array-like, 默认=None

Xy = np.dot(X.T, y) 可以预计算。只有在预计算 Gram 矩阵时才有用。

copy_Xbool, 默认=True

如果为 True ，则 X 将被复制；否则，可能会被覆盖。

coef_init形状为 (n_features,) 的 array-like, 默认=None

系数的初始值。

verbosebool 或 int, 默认=False

冗长程度。

return_n_iterbool, 默认=False

是否返回迭代次数。

positivebool, 默认=False

如果设置为 True，则强制系数为正。（仅在 y.ndim == 1 时允许）。

check_inputbool, 默认=True

如果设置为 False，则跳过输入验证检查（包括提供的 Gram 矩阵）。假设它们由调用者处理。

**paramskwargs

传递给坐标下降求解器的关键字参数。

Returns:

alphas形状为 (n_alphas,) 的 ndarray

计算模型的 alpha 路径。

coefs形状为 (n_features, n_alphas) 或 (n_targets, n_features, n_alphas) 的 ndarray

沿路径的系数。

dual_gaps形状为 (n_alphas,) 的 ndarray

每个 alpha 优化结束时的对偶间隙。

n_iterslist of int

坐标下降优化器为达到指定容差所需的迭代次数。 （当 return_n_iter 设置为 True 时返回）。

See also

MultiTaskElasticNet

使用 L1/L2 混合范数作为正则化训练的多任务弹性网络模型。

MultiTaskElasticNetCV

内置交叉验证的多任务 L1/L2 弹性网络。

ElasticNet

结合 L1 和 L2 先验作为正则化的线性回归。

ElasticNetCV

沿正则化路径迭代拟合的弹性网络模型。

Notes

有关示例，请参见 examples/linear_model/plot_lasso_coordinate_descent_path.py 。

Examples

>>> from sklearn.linear_model import enet_path
>>> from sklearn.datasets import make_regression
>>> X, y, true_coef = make_regression(
...    n_samples=100, n_features=5, n_informative=2, coef=True, random_state=0
... )
>>> true_coef
array([ 0.        ,  0.        ,  0.        , 97.9..., 45.7...])
>>> alphas, estimated_coef, _ = enet_path(X, y, n_alphas=3)
>>> alphas.shape
(3,)
>>> estimated_coef
 array([[ 0.        ,  0.78...,  0.56...],
        [ 0.        ,  1.12...,  0.61...],
        [-0.        , -2.12..., -1.12...],
        [ 0.        , 23.04..., 88.93...],
        [ 0.        , 10.63..., 41.56...]])

predict(X)

使用线性模型进行预测。

Parameters:

Xarray-like 或 sparse matrix, shape (n_samples, n_features)

样本。

Returns:

Carray, shape (n_samples,)

返回预测值。

score(X, y, sample_weight=None)

返回预测的决定系数。

决定系数 \(R^2\) 定义为 \((1 - rac{u}{v})\) ，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum() ，而 \(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum() 。最好的可能得分是 1.0，它可能是负的（因为模型可能任意地差）。一个总是预测 y 的期望值的常数模型，忽略输入特征，将得到 \(R^2\) 得分为 0.0。

Parameters:

Xarray-like of shape (n_samples, n_features)

测试样本。对于某些估计器，这可能是一个预计算的核矩阵或一个形状为 (n_samples, n_samples_fitted) 的通用对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数量。

yarray-like of shape (n_samples,) or (n_samples, n_outputs)

X 的真实值。

sample_weightarray-like of shape (n_samples,), default=None

样本权重。

Returns:

scorefloat

\(R^2\) 相对于 y 的 self.predict(X) 。

Notes

在调用回归器的 score 时使用的 \(R^2\) 得分从 0.23 版本开始使用 multioutput='uniform_average' 以保持与 r2_score 默认值一致。 这影响了所有多输出回归器的 score 方法（除了 MultiOutputRegressor ）。

set_fit_request(*, check_input: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') → ElasticNet

Request metadata passed to the fit method.

Note that this method is only relevant if enable_metadata_routing=True (see sklearn.set_config ). Please see User Guide on how the routing mechanism works.

The options for each parameter are:

• True : metadata is requested, and passed to fit if provided. The request is ignored if metadata is not provided.

• False : metadata is not requested and the meta-estimator will not pass it to fit .

• None : metadata is not requested, and the meta-estimator will raise an error if the user provides it.

• str : metadata should be passed to the meta-estimator with this given alias instead of the original name.

The default ( sklearn.utils.metadata_routing.UNCHANGED ) retains the existing request. This allows you to change the request for some parameters and not others.

Added in version 1.3.

Note

This method is only relevant if this estimator is used as a sub-estimator of a meta-estimator, e.g. used inside a Pipeline . Otherwise it has no effect.

Parameters:

check_inputstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Metadata routing for check_input parameter in fit .

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Metadata routing for sample_weight parameter in fit .

Returns:

selfobject

The updated object.

set_params(**params)

设置此估计器的参数。

该方法适用于简单估计器以及嵌套对象（例如 Pipeline ）。后者具有形式为 <component>__<parameter> 的参数，以便可以更新嵌套对象的每个组件。

Parameters:

**paramsdict

估计器参数。

Returns:

selfestimator instance

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → ElasticNet

Request metadata passed to the score method.

Note that this method is only relevant if enable_metadata_routing=True (see sklearn.set_config ). Please see User Guide on how the routing mechanism works.

The options for each parameter are:

• True : metadata is requested, and passed to score if provided. The request is ignored if metadata is not provided.

• False : metadata is not requested and the meta-estimator will not pass it to score .

• None : metadata is not requested, and the meta-estimator will raise an error if the user provides it.

• str : metadata should be passed to the meta-estimator with this given alias instead of the original name.

The default ( sklearn.utils.metadata_routing.UNCHANGED ) retains the existing request. This allows you to change the request for some parameters and not others.

Added in version 1.3.

Note

This method is only relevant if this estimator is used as a sub-estimator of a meta-estimator, e.g. used inside a Pipeline . Otherwise it has no effect.

Parameters:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Metadata routing for sample_weight parameter in score .

Returns:

selfobject

The updated object.

property sparse_coef_

稀疏表示拟合的 coef_ 。

Gallery examples

scikit-learn 0.23 版本发布亮点

scikit-learn 0.23 版本发布亮点

使用预计算的Gram矩阵和加权样本拟合弹性网络

使用预计算的Gram矩阵和加权样本拟合弹性网络

基于L1的稀疏信号模型

基于L1的稀疏信号模型

训练误差与测试误差

训练误差与测试误差

使用预计算的Gram矩阵和加权样本拟合弹性网络

使用预计算的Gram矩阵和加权样本拟合弹性网络