特異値分解の振り返りとして、固有値分解との比較

特異値分解の理解を深めるために、固有値分解と比較してみた。

#	固有値分解	特異値分解
1	正方行列 $A$ に対して、以下が成り立つ固有ベクトル$\vec{v}$と固有値$λ$が存在する。 $A\vec{v}=λ\vec{v}$	長方形の行列 $M$ に対して、以下が成り立つ特異ベクトル$\vec{u}、\vec{v}$と特異値$σ$が存在する。 $M\vec{v}=σ\vec{u}、M^{T}\vec{u}=σ\vec{v}$
2	固有値を並べた行列を$Λ$とする。 $Λ=\begin{pmatrix} λ_{1} &　　& \\ & v_{2} &　\\ &　& ... \end{pmatrix}$	特異値を並べた行列を$S$とする。 $S=\begin{pmatrix} σ_{1} &　　& \\ & σ_{2} &　\\ &　& ... \end{pmatrix}$
3	固有ベクトルを並べた行列を$V$とする。 $V=\begin{pmatrix} \vec{v}_{1} & \vec{v}_{2} & ...\end{pmatrix}$	特異ベクトルを並べた行列を$U、V$とする。 $U=\begin{pmatrix} \vec{u}_{1} & \vec{u}_{2} & ...\end{pmatrix}$ $V=\begin{pmatrix} \vec{v}_{1} & \vec{v}_{2} & ...\end{pmatrix}$
4	行列で表すと $AV=VΛ$	行列で表すと $MV=US、M^{T}U=VS^{T}$
5	$A=VΛV^{-1}$	$M=USV^{-1}、M^{T}=VS^{T}U^{-1}$ $MM^{T}=USV^{-1}VS^{T}U^{-1}=USSU^{-1}=USSU^{T}$ $M^{T}M=VS^{T}U^{-1}USV^{-1}=VSSV^{-1}=VSSV^{T}$

注意点等

• 固有値分解の1で$A\vec{v}=λ\vec{v}$となってたのが、4で$AV=VΛ$となっている。特異値分解も1で$M\vec{v}=σ\vec{u}$となってたのが、4で$MV=US$となっている。「固有値分解で、いつのまにλ(Λ)が左から右に移ってる件」に書いたとおり、対角行列である$Λ$や$S$は右から掛けないと順序性が保てなくなる。
• 5の式変換には以下の性質(公式)を使っている。
  1. $S^{T}=S$
     対角行列$S$は転置しても変わりません。実際に2にある行列を転置してみれば明らか。
  2. $U^{-1}=U^{T}、V^{-1}=V^{T}$
     特異ベクトル$U、V$は、長さ1で互いに直行する内積≠0のベクトル（これを難しく言うと「正規直交基底を列/行ベクトルとする正規直交行列」と呼ばれるらしいです）なので、逆行列と転置行列が同じになるそうです。この辺りを参考にさせてもらいましたm(_ _)m
     • 正規直交基底（定義、求め方、性質） - 具体例で学ぶ数学
     • ベクトルと行列　逆行列
     • 特異値分解の導出と，左特異ベクトル，特異値，右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ
• 実際の計算となれば、$SS=S^{2}=\begin{pmatrix} σ_{1}^{2} &　　& \\ & σ_{2}^{2} &　\\ &　& ... \end{pmatrix}$なども使うが、対角行列の二乗はシンプルなので計算上問題にならないだろう。
  大事なのは、特異値分解で出てくる$SS$の要素の平方根を取ることで$σ$となること。なお、特異ベクトル$U、V$は、もともと長さ(ノルム)1の特別な行列であり、平方根を取る必要はない。