META


2019年11月14日木曜日

鞍点と停留点


f:id:re_sweater:20191114230426j:plain



(cc) photo by odonata98 (Kimberly Reinhart)

G検定の公式テキストを読み進めると、勾配下降法の問題点の一つとして「鞍点(あんてん)」に出くわす。
鞍点と呼ばれるその点は、ある次元から見れば極小であるものの、別の次元から見ると極大になってしまっているもののこと
「まさに馬の鞍(くら)の形だ!確かに馬の背筋方向に勾配下降していくと、鞍の中心(鞍点)を極小解と勘違いしかねない」と目からウロコ。脳に刻まれるわけです。
 そしてG検定問題集の第5章(ディープラーニングの概要)第8問
ディープニューラルネットワークの学習において誤差を最小化する重みを求めたいが、(中略) (ウ)にトラップされてしまうという問題がある。
 で迷いなく(ウ)に「B.鞍点」を選んで解答をみると、
×(バッテン!)答えは停留点。鞍点は、停留点の一つです。
的なことが書いてあるではないか!
早く言ってよ~~~、公式テキストにはなかったやん。。。
って、なりませんでしたか?!

0 件のコメント:

コメントを投稿