特異値分解の振り返りとして、固有値分解との比較

特異値分解の理解を深めるために、固有値分解と比較してみた。

#	固有値分解	特異値分解
1	正方行列 \(A\) に対して、以下が成り立つ固有ベクトル\(\vec{v}\)と固有値\(λ\)が存在する。 \(A\vec{v}=λ\vec{v}\)	長方形の行列 \(M\) に対して、以下が成り立つ特異ベクトル\(\vec{u}、\vec{v}\)と特異値\(σ\)が存在する。 \(M\vec{v}=σ\vec{u}、M^{T}\vec{u}=σ\vec{v}\)
2	固有値を並べた行列を\(Λ\)とする。 \(Λ=\begin{pmatrix} λ_{1} &　　& \\ & v_{2} &　\\ &　& ... \end{pmatrix} \)	特異値を並べた行列を\(S\)とする。 \(S=\begin{pmatrix} σ_{1} &　　& \\ & σ_{2} &　\\ &　& ... \end{pmatrix} \)
3	固有ベクトルを並べた行列を\(V\)とする。 \(V=\begin{pmatrix} \vec{v}_{1} & \vec{v}_{2} & ...\end{pmatrix} \)	特異ベクトルを並べた行列を\(U、V\)とする。 \(U=\begin{pmatrix} \vec{u}_{1} & \vec{u}_{2} & ...\end{pmatrix} \) \( V=\begin{pmatrix} \vec{v}_{1} & \vec{v}_{2} & ...\end{pmatrix}\)
4	行列で表すと \(AV=VΛ\)	行列で表すと \(MV=US、M^{T}U=VS^{T}\)
5	\(A=VΛV^{-1}\)	\(M=USV^{-1}、M^{T}=VS^{T}U^{-1}\) \(MM^{T}=USV^{-1}VS^{T}U^{-1}=USSU^{-1}=USSU^{T}\) \(M^{T}M=VS^{T}U^{-1}USV^{-1}=VSSV^{-1}=VSSV^{T}\)

注意点等

• 固有値分解の1で\(A\vec{v}=λ\vec{v}\)となってたのが、4で\(AV=VΛ\)となっている。特異値分解も1で\(M\vec{v}=σ\vec{u}\)となってたのが、4で\(MV=US\)となっている。「固有値分解で、いつのまにλ(Λ)が左から右に移ってる件」に書いたとおり、対角行列である\(Λ\)や\(S\)は右から掛けないと順序性が保てなくなる。
• 5の式変換には以下の性質(公式)を使っている。
  1. \(S^{T}=S\)
     対角行列\(S\)は転置しても変わりません。実際に2にある行列を転置してみれば明らか。
  2. \(U^{-1}=U^{T}、V^{-1}=V^{T}\)
     特異ベクトル\(U、V\)は、長さ1で互いに直行する内積≠0のベクトル（これを難しく言うと「正規直交基底を列/行ベクトルとする正規直交行列」と呼ばれるらしいです）なので、逆行列と転置行列が同じになるそうです。この辺りを参考にさせてもらいましたm(_ _)m
     • 正規直交基底（定義、求め方、性質） - 具体例で学ぶ数学
     • ベクトルと行列　逆行列
     • 特異値分解の導出と，左特異ベクトル，特異値，右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ
• 実際の計算となれば、\(SS=S^{2}=\begin{pmatrix} σ_{1}^{2} &　　& \\ & σ_{2}^{2} &　\\ &　& ... \end{pmatrix} \)なども使うが、対角行列の二乗はシンプルなので計算上問題にならないだろう。
  大事なのは、特異値分解で出てくる\(SS\)の要素の平方根を取ることで\(σ\)となること。なお、特異ベクトル\(U、V\)は、もともと長さ(ノルム)1の特別な行列であり、平方根を取る必要はない。