ＣＮＮへの道のり（９）

　第一次パーセプトロンのブーム時代、実は多層パーセプトロンの学習アルゴリズムに成功した研究者がいた。その研究者は日本人で、現東京大学名誉教授の甘利俊一先生である。

　１９６７年、甘利先生は多層パーセプトロンでうまく学習できる確率的勾配法を考案された。そして、英語で論文化し、IEEE（米国電気電子学会）に投稿された。

　勾配降下法は、最急降下方向に向かって重みを更新していく手法だった。

wi = wi - ρ(∂E/∂w)

単純パーセプトロンではこれでうまく働くものの、多層パーセプトロンになると、損失関数Eが単純な最小値を一つ持つ関数ではなく、複数の局所最小値を持つ形と複雑になる。そのため、勾配降下法では、本来の解ではなく局所最小値で収束してしまう欠点があった。そこで、損失関数Eが、

E = ΣiEi

と和の形に書き変え、∂E/∂wの代わりに∂Ei/∂wを使う確率的勾配法が提案された。確率的という名称は、iは各反復で変え、全データを確率的にソートし、順番にEiを使って n 回反復するという操作から来ている。そして、この操作を行えば、局所最小値に留まらず、本来の最小値で収束する可能性が飛躍的に向上したのである。