web-dev-qa-db-ja.com

特異値分解にNumpy（np.linalg.svd）を使用する

Abdi＆Williams（2010）の「主成分分析」を読んでいますが、SVDをやり直して、さらなるPCAの値を達成しようとしています。

この記事には、次のSVDが記載されています。

X = P D Q ^ t

Np.array Xにデータをロードします。

X = np.array(data)
P, D, Q = np.linalg.svd(X, full_matrices=False)
D = np.diag(D)

しかし、チェックすると上記の平等が得られません

X_a = np.dot(np.dot(P, D), Q.T)

X_aとXは同じ次元ですが、値は同じではありません。私は何かが足りませんか、またはnp.linalg.svd関数の機能は何とか論文の方程式と互換性がありませんか？

pythonnumpypca
14
dms_quant

TL; DR：numpyのSVDはX = PDQを計算するため、Qはすでに転置されています。

SVDは、マトリックスXを効果的に回転PおよびQと対角マトリックスDに分解します。私が持っているlinalg.svd()のバージョンは、PとQの順回転を返します。 X_aの計算時にQを変換したくない場合。

import numpy as np
X = np.random.normal(size=[20,18])
P, D, Q = np.linalg.svd(X, full_matrices=False)
X_a = np.matmul(np.matmul(P, np.diag(D)), Q)
print(np.std(X), np.std(X_a), np.std(X - X_a))

1.02、1.02、1.8e-15を取得し、X_aがXを非常に正確に再構築することを示しています。

Python 3）を使用している場合、@演算子は行列乗算を実装し、コードを理解しやすくします。

import numpy as np
X = np.random.normal(size=[20,18])
P, D, Q = np.linalg.svd(X, full_matrices=False)
X_a = P @ diag(D) @ Q
print(np.std(X), np.std(X_a), np.std(X - X_a))
print('Is X close to X_a?', np.isclose(X, X_a).all())
18
Frank M

Scipy.linalg.svd docstringから。ここで、（M、N）は入力行列の形状で、Kは2つの小さい方です。

Returns
-------
U : ndarray
    Unitary matrix having left singular vectors as columns.
    Of shape ``(M,M)`` or ``(M,K)``, depending on `full_matrices`.
s : ndarray
    The singular values, sorted in non-increasing order.
    Of shape (K,), with ``K = min(M, N)``.
Vh : ndarray
    Unitary matrix having right singular vectors as rows.
    Of shape ``(N,N)`` or ``(K,N)`` depending on `full_matrices`.

説明したように、VhはAbdi and Williamsの論文で使用されているQの転置です。これだけ

X_a = P.dot(D).dot(Q)

あなたの答えを与える必要があります。

4
eewallace