1.8. 交叉分解#

1.8.1. PLSCanonical#

我们在这里描述 PLSCanonical 中使用的算法。其他估计器使用该算法的变体，并在下面详细说明。我们建议参考 [1] 部分以获取更多详细信息和这些算法之间的比较。在 [1] 中，PLSCanonical 对应于 “PLSW2A”。

给定两个中心化的矩阵 $X\in {\mathbb{R}}^{n\times d}$ 和 $Y\in {\mathbb{R}}^{n\times t}$ ，以及组件数量 $K$ ，PLSCanonical 的步骤如下：

将 $X_1$ 设为 $X$ ，将 $Y_1$ 设为 $Y$ 。然后，对于每个 $k\in [1,K]$ ：

• 1. 计算 $u_k\in {\mathbb{R}}^d$ 和 $v_k\in {\mathbb{R}}^t$ ，即交叉协方差矩阵 $C=X_k^T{Y}_k$ 的第一左奇异向量和右奇异向量。$u_k$ 和 $v_k$ 被称为 权重。根据定义，$u_k$ 和 $v_k$ 被选择以最大化投影 $X_k$ 和投影目标之间的协方差，即 $\text{Cov}(X_k{u}_k,Y_k{v}_k)$ 。

• 2. 在奇异向量上投影 $X_k$ 和 $Y_k$ 以获得 得分：${\xi }_k=X_k{u}_k$ 和 ${\omega }_k=Y_k{v}_k$

• 3. 在 ${\xi }_k$ 上回归 $X_k$ ，即找到一个向量 ${\gamma }_k\in {\mathbb{R}}^d$ ，使得秩为 1 的矩阵 ${\xi }_k{\gamma }_k^T$ 尽可能接近 $X_k$ 。对 $Y_k$ 和 ${\omega }_k$ 进行相同的操作以获得 ${\delta }_k$ 。向量 ${\gamma }_k$ 和 ${\delta }_k$ 被称为 载荷。

• 4. 收缩 $X_k$ 和 $Y_k$ ，即减去秩为 1 的近似值：$X_{k+1}=X_k-{\xi }_k{\gamma }_k^T$ ，以及 $Y_{k+1}=Y_k-{\omega }_k{\delta }_k^T$ 。

最终，我们将 $X$ 近似为秩-1矩阵的和： $X=\mathrm{\Xi }{\mathrm{\Gamma }}^T$ ，其中 $\mathrm{\Xi }\in {\mathbb{R}}^{n\times K}$ 包含其列中的分数，而 ${\mathrm{\Gamma }}^T\in {\mathbb{R}}^{K\times d}$ 包含其行中的载荷。类似地，对于 $Y$ ，我们有 $Y=\mathrm{\Omega }{\mathrm{\Delta }}^T$ 。

请注意，分数矩阵 $\mathrm{\Xi }$ 和 $\mathrm{\Omega }$ 分别对应于训练数据 $X$ 和 $Y$ 的投影。

步骤 a) 可以通过两种方式执行：要么通过计算 $C$ 的完整 SVD 并仅保留具有最大奇异值的奇异向量，要么通过直接使用幂方法（参见 [1] 中的第 11.3 节）计算奇异向量，这对应于 algorithm 参数的 'nipals' 选项。

$\mathrm{\Xi }$ 是我们拥有的转换后的训练数据，满足 $Y=X\alpha P{\mathrm{\Delta }}^T$ ，因此系数矩阵 $\beta =\alpha P{\mathrm{\Delta }}^T$ 。

$\beta$ 可以通过 coef_ 属性访问。

1.8.2. PLSSVD#

PLSSVD 是之前描述的 PLSCanonical 的简化版本：它不是迭代地消减矩阵 $X_k$ 和 $Y_k$ ，而是只计算一次 $C=X^{T}Y$ 的 SVD，并将与最大奇异值对应的 n_components 个奇异向量存储在矩阵 U 和 V 中，对应于 x_weights_ 和 y_weights_ 属性。在这里，转换后的数据简单地为 transformed(X) = XU 和 transformed(Y) = YV 。

如果 n_components == 1 ，PLSSVD 和 PLSCanonical 是完全等价的。

1.8.3. PLSRegression#

PLSRegression 估计器与 PLSCanonical 在 algorithm='nipals' 时类似，有两个显著差异：

• 在计算 $u_k$ 和 $v_k$ 的幂方法的步骤 a) 中，$v_k$ 从不归一化。

• 在步骤 c) 中，目标 $Y_k$ 使用 $X_k$ （即 ${\xi }_k$ ）的投影来近似，而不是 $Y_k$ （即 ${\omega }_k$ ）的投影。换句话说，载荷计算是不同的。因此，步骤 d) 中的消减也会受到影响。

这两个修改影响了 predict 和 transform 的输出，与 PLSCanonical 不同。此外，虽然 PLSCanonical 中的组件数量受限于 min(n_samples, n_features, n_targets) ，但在这里的限制是 $X^{T}X$ 的秩，即 min(n_samples, n_features) 。

PLSRegression 也被称为 PLS1（单个目标）和 PLS2（多个目标）。与 Lasso 类似，PLSRegression 是一种正则化线性回归的形式。 组件数量控制正则化的强度。

1.8.4. 典型相关分析#

典型相关分析（Canonical Correlation Analysis，CCA）是在PLS之前独立开发的。但事实证明，CCA 是PLS的一个特例，并且在文献中对应于PLS的“模式B”。

CCA 与:class:PLSCanonical 在步骤a）的幂方法中计算权重:math:u_k 和:math:v_k 的方式不同。详细信息可以在[1]的第10节中找到。

由于:class:CCA 涉及:math:X_k^TX_k 和:math:Y_k^TY_k 的逆运算，如果特征数量或目标数量大于样本数量，这个估计器可能会不稳定。

参考文献

示例

• 比较交叉分解方法

• 主成分回归与偏最小二乘回归