dask_ml.preprocessing.StandardScaler
dask_ml.preprocessing
.StandardScaler¶
- class dask_ml.preprocessing.StandardScaler(*, copy=True, with_mean=True, with_std=True)[源代码]¶
通过去除均值并缩放到单位方差来标准化特征。
样本 x 的标准分数计算如下:
z = (x - u) / s
其中 u 是训练样本的均值,如果 with_mean=False 则为零,s 是训练样本的标准差,如果 with_std=False 则为一。
中心化和缩放通过在训练集样本上计算相关统计量,独立地应用于每个特征。然后存储均值和标准差,以便使用
transform()
在后续数据上使用。数据集的标准化是许多机器学习估计器的常见要求:如果各个特征看起来不像标准正态分布的数据(例如,均值为0,方差为1的高斯分布),它们可能会表现不佳。
例如,学习算法的目标函数中使用的许多元素(如支持向量机的RBF核或线性模型的L1和L2正则化器)假设所有特征都以0为中心,并且具有相同数量级的方差。如果某个特征的方差比其他特征大几个数量级,它可能会主导目标函数,使得估计器无法像预期的那样正确地从其他特征中学习。
StandardScaler 对异常值敏感,并且在存在异常值的情况下,特征的缩放可能与其他特征不同。有关示例可视化,请参阅 比较 StandardScaler 与其他缩放器。
这个缩放器也可以应用于稀疏的 CSR 或 CSC 矩阵,通过传递 with_mean=False 来避免破坏数据的稀疏结构。
更多信息请参阅 用户指南。
- 参数
- 复制bool, 默认=True
如果为 False,尝试避免复制并进行原地缩放。这并不保证总是原地工作;例如,如果数据不是 NumPy 数组或 scipy.sparse CSR 矩阵,仍可能返回一个副本。
- with_meanbool, 默认=True
如果为真,在缩放之前将数据居中。这在尝试对稀疏矩阵进行操作时不会生效(并且会引发异常),因为将它们居中需要构建一个密集矩阵,这在常见用例中可能会太大而无法装入内存。
- with_stdbool, 默认=True
如果为真,将数据缩放到单位方差(或等效地,单位标准差)。
- 属性
- scale_形状为 (n_features,) 或 None 的 ndarray
每个特征的数据相对缩放,以实现零均值和单位方差。通常这是通过 np.sqrt(var_) 计算的。如果方差为零,我们无法实现单位方差,数据保持原样,缩放因子为1。当 with_std=False 时,scale_ 等于 None。
0.17 新版功能: scale_
- mean_形状为 (n_features,) 或 None 的 ndarray
训练集中每个特征的平均值。当
with_mean=False
和with_std=False
时,等于None
。- var_形状为 (n_features,) 或 None 的 ndarray
训练集中每个特征的方差。用于计算 scale_。当
with_mean=False
和with_std=False
时等于None
。- n_features_in_整数
在 拟合 过程中看到的特征数量。
0.24 新版功能.
- feature_names_in_ : 形状为 (n_features_in_,) 的 ndarray形状为的 ndarray
在 拟合 过程中看到的特征名称。仅当 X 中的特征名称均为字符串时定义。
1.0 新版功能.
- n_samples_seen_int 或形状为 (n_features,) 的 ndarray
估计器为每个特征处理的样本数量。如果没有缺失样本,
n_samples_seen
将是一个整数,否则它将是一个 dtype int 的数组。如果使用了 sample_weights,它将是一个浮点数(如果没有缺失数据)或一个 dtype float 的数组,该数组总和了到目前为止看到的权重。将在新的 fit 调用时重置,但在partial_fit
调用之间递增。
参见
scale
不使用估计器API的等效功能。
PCA
进一步通过设置 ‘whiten=True’ 来消除特征之间的线性相关性。
注释
NaN 被视为缺失值:在拟合时被忽略,在转换时被保留。
我们使用了一个有偏估计的标准差,等同于 numpy.std(x, ddof=0)。注意,ddof 的选择不太可能影响模型性能。
示例
>>> from sklearn.preprocessing import StandardScaler >>> data = [[0, 0], [0, 0], [1, 1], [1, 1]] >>> scaler = StandardScaler() >>> print(scaler.fit(data)) StandardScaler() >>> print(scaler.mean_) [0.5 0.5] >>> print(scaler.transform(data)) [[-1. -1.] [-1. -1.] [ 1. 1.] [ 1. 1.]] >>> print(scaler.transform([[2, 2]])) [[3. 3.]]
方法
fit
(X[, y])计算用于后续缩放的均值和标准差。
fit_transform
(X[, y])拟合数据,然后进行转换。
get_feature_names_out
([input_features])获取转换后的输出特征名称。
get_metadata_routing
()获取此对象的元数据路由。
get_params
([deep])获取此估计器的参数。
inverse_transform
(X[, copy])将数据缩减回原始表示形式。
partial_fit
(X[, y])在线计算 X 的均值和标准差,以便后续缩放。
set_fit_request
(*[, sample_weight])传递给
fit
方法的请求元数据。set_inverse_transform_request
(*[, copy])传递给
inverse_transform
方法的请求元数据。set_output
(*[, transform])设置输出容器。
set_params
(**params)设置此估计器的参数。
set_partial_fit_request
(*[, sample_weight])传递给
partial_fit
方法的请求元数据。set_transform_request
(*[, copy])传递给
transform
方法的请求元数据。transform
(X[, y, copy])通过中心化和缩放进行标准化。