G検定の公式テキストを読み進めると、勾配下降法の問題点の一つとして「鞍点(あんてん)」に出くわす。
鞍点と呼ばれるその点は、ある次元から見れば極小であるものの、別の次元から見ると極大になってしまっているもののこと「まさに馬の鞍(くら)の形だ!確かに馬の背筋方向に勾配下降していくと、鞍の中心(鞍点)を極小解と勘違いしかねない」と目からウロコ。脳に刻まれるわけです。
そしてG検定問題集の第5章(ディープラーニングの概要)第8問
ディープニューラルネットワークの学習において誤差を最小化する重みを求めたいが、(中略) (ウ)にトラップされてしまうという問題がある。で迷いなく(ウ)に「B.鞍点」を選んで解答をみると、
×(バッテン!)答えは停留点。鞍点は、停留点の一つです。的なことが書いてあるではないか!
早く言ってよ~~~、公式テキストにはなかったやん。。。
って、なりませんでしたか?!
0 件のコメント:
コメントを投稿