SparseRandomProjection#
- class sklearn.random_projection.SparseRandomProjection(n_components='auto', *, density='auto', eps=0.1, dense_output=False, compute_inverse_components=False, random_state=None)#
通过稀疏随机投影降低维度。
稀疏随机矩阵是密集随机投影矩阵的替代方案,保证类似的嵌入质量,同时具有更高的内存效率并允许更快的投影数据计算。
如果我们记
s = 1 / density
,随机矩阵的组成部分从以下分布中抽取:-sqrt(s) / sqrt(n_components) 以概率 1 / 2s
0 以概率 1 - 1 / s
+sqrt(s) / sqrt(n_components) 以概率 1 / 2s
更多信息请参阅 用户指南 。
Added in version 0.13.
- Parameters:
- n_componentsint or ‘auto’, default=’auto’
目标投影空间的维度。
n_components 可以根据数据集中的样本数量和 Johnson-Lindenstrauss 引理给出的界限自动调整。在这种情况下,嵌入质量由
eps
参数控制。需要注意的是,Johnson-Lindenstrauss 引理可能会产生非常保守的所需组件数量估计,因为它不对数据集的结构做任何假设。
- densityfloat or ‘auto’, default=’auto’
随机投影矩阵中非零组件的比例,范围在 (0, 1] 之间。
如果 density = ‘auto’,则该值设置为 Ping Li 等人推荐的最低密度:1 / sqrt(n_features)。
如果你想重现 Achlioptas, 2001 的结果,请使用 density = 1 / 3.0。
- epsfloat, default=0.1
当 n_components 设置为 ‘auto’ 时,用于控制嵌入质量的参数,根据 Johnson-Lindenstrauss 引理。该值应严格为正。
较小的值会导致更好的嵌入和目标投影空间中更多的维度(n_components)。
- dense_outputbool, default=False
如果为 True,确保随机投影的输出即使输入和随机投影矩阵都是稀疏的,也使用密集的 numpy 数组。实际上,如果组件数量很少,投影数据中的零组件数量将非常少,使用密集表示会更高效。
如果为 False,则投影数据在输入为稀疏时使用稀疏表示。
- compute_inverse_componentsbool, default=False
在拟合过程中通过计算组件的伪逆来学习逆变换。请注意,伪逆总是一个密集数组,即使训练数据是稀疏的。这意味着可能需要在主机上分批处理样本调用
inverse_transform
以避免耗尽可用内存。此外,计算伪逆在大矩阵上扩展性不佳。- random_stateint, RandomState instance or None, default=None
控制用于在拟合时生成投影矩阵的伪随机数生成器。 传递一个 int 以在多次函数调用中获得可重复的输出。 参见 Glossary 。
- Attributes:
- n_components_int
当 n_components=”auto” 时计算的具体组件数量。
- components_形状为 (n_components, n_features) 的稀疏矩阵
用于投影的随机矩阵。稀疏矩阵将是 CSR 格式。
- inverse_components_形状为 (n_features, n_components) 的 ndarray
仅在
compute_inverse_components
为 True 时计算的组件的伪逆。Added in version 1.1.
- density_范围在 0.0 - 1.0 之间的浮点数
当 density = “auto” 时计算的具体密度。
- n_features_in_int
在 fit 期间看到的特征数量。
Added in version 0.24.
- feature_names_in_形状为 (
n_features_in_
,) 的 ndarray 在 fit 期间看到的特征名称。仅当
X
的特征名称均为字符串时定义。Added in version 1.0.
See also
GaussianRandomProjection
通过高斯随机投影降低维度。
References
[1]Ping Li, T. Hastie and K. W. Church, 2006, “Very Sparse Random Projections”. https://web.stanford.edu/~hastie/Papers/Ping/KDD06_rp.pdf
[2]D. Achlioptas, 2001, “Database-friendly random projections”, https://cgi.di.uoa.gr/~optas/papers/jl.pdf
Examples
>>> import numpy as np >>> from sklearn.random_projection import SparseRandomProjection >>> rng = np.random.RandomState(42) >>> X = rng.rand(25, 3000) >>> transformer = SparseRandomProjection(random_state=rng) >>> X_new = transformer.fit_transform(X) >>> X_new.shape (25, 2759) >>> # 很少的组件是非零的 >>> np.mean(transformer.components_ != 0) 0.0182...
- fit(X, y=None)#
生成一个稀疏随机投影矩阵。
- Parameters:
- X{ndarray, sparse matrix},形状为 (n_samples, n_features)
训练集:仅使用形状来根据上述论文中引用的理论找到最佳随机矩阵维度。
- y忽略
未使用,此处仅为了API一致性而存在。
- Returns:
- selfobject
BaseRandomProjection 类实例。
- fit_transform(X, y=None, **fit_params)#
拟合数据,然后进行转换。
将转换器拟合到
X
和y
,并带有可选参数fit_params
, 并返回X
的转换版本。- Parameters:
- X形状为 (n_samples, n_features) 的类数组
输入样本。
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组, 默认=None
目标值(无监督转换为 None)。
- **fit_paramsdict
其他拟合参数。
- Returns:
- X_new形状为 (n_samples, n_features_new) 的 ndarray 数组
转换后的数组。
- get_feature_names_out(input_features=None)#
获取转换后的输出特征名称。
输出特征名称将以小写的类名作为前缀。例如,如果转换器输出3个特征,那么输出特征名称将是:
["class_name0", "class_name1", "class_name2"]
。- Parameters:
- input_features类似数组的对象或None,默认为None
仅用于验证特征名称与
fit
中看到的名称。
- Returns:
- feature_names_outndarray of str对象
转换后的特征名称。
- get_metadata_routing()#
获取此对象的元数据路由。
请查看 用户指南 以了解路由机制的工作原理。
- Returns:
- routingMetadataRequest
MetadataRequest
封装的 路由信息。
- get_params(deep=True)#
获取此估计器的参数。
- Parameters:
- deepbool, 默认=True
如果为True,将返回此估计器和包含的子对象(也是估计器)的参数。
- Returns:
- paramsdict
参数名称映射到它们的值。
- inverse_transform(X)#
将数据投影回其原始空间。
返回一个数组 X_original,其变换结果为 X。请注意,即使 X 是稀疏的,X_original 也是密集的:这可能会使用大量 RAM。
如果
compute_inverse_components
为 False,则在每次调用inverse_transform
时计算组件的逆,这可能会很耗时。- Parameters:
- X{array-like, sparse matrix},形状为 (n_samples, n_components)
要变换回的数据。
- Returns:
- X_originalndarray,形状为 (n_samples, n_features)
重建的数据。
- set_output(*, transform=None)#
设置输出容器。
请参阅 介绍 set_output API 以了解如何使用API的示例。
- Parameters:
- transform{“default”, “pandas”, “polars”}, 默认=None
配置
transform
和fit_transform
的输出。"default"
: 转换器的默认输出格式"pandas"
: DataFrame 输出"polars"
: Polars 输出None
: 转换配置不变
Added in version 1.4:
"polars"
选项已添加。
- Returns:
- self估计器实例
估计器实例。
- set_params(**params)#
设置此估计器的参数。
该方法适用于简单估计器以及嵌套对象(例如
Pipeline
)。后者具有形式为<component>__<parameter>
的参数,以便可以更新嵌套对象的每个组件。- Parameters:
- **paramsdict
估计器参数。
- Returns:
- selfestimator instance
估计器实例。
- transform(X)#
将数据通过与随机矩阵的矩阵乘积进行投影。
- Parameters:
- X{ndarray, sparse matrix},形状为 (n_samples, n_features)
要投影到较小维度空间中的输入数据。
- Returns:
- X_new{ndarray, sparse matrix},形状为 (n_samples, n_components)
投影后的数组。只有当输入是稀疏矩阵且
dense_output = False
时,它才是稀疏矩阵。
Gallery examples#
使用随机投影进行嵌入的Johnson-Lindenstrauss界限