勾配が消失する理由 まずRNNの計算グラフを見てみます。 図中のMatMulは行列の積、+は行列の和、tanhはハイパボリックタンジェントとします。 RNNを使った人なら見たことある計算グラフですよね。 逆伝播時の流れをhに着目してみたときの計算グラフは次のようになります。 この逆伝播時に重要になってくるのがtanhです。 このtanhが勾配消失の原因になっています。 tanhの微分を見ていくとこの理由がわかります。 勾配消失問題 活性化関数にシグモイド関数 を使うニューラルネットワークモデルを考えます。 勾配消失が発生して、入力に一番近い層のパラメーターが更新されなくなる事を実験したいと思います。 ニューラルネットワークの入門記事は以下を読んでみてください。 ニューラルネットワークの話 本当にお話程度の事しか書かないとは思いませんでした。 おすすめの本のリンクを貼っておきます。 マサムネも読んでいる定番です。 数学の人には細部が書いてなかったり当たり前の事を長々と書いていたりで物足りないかもしれませ masamunetogetoge.com 2019.06.21 シグモイド関数は以下で定義される関数でした。 σ ( x) = 1 1 + exp ( − x) グラフは次のようになります。 勾配消失問題は、ディープラーニングやニューラルネットワークの学習において重要な問題の一つです。. この問題は、ニューラルネットワークの層が深くなるにつれて、誤差逆伝播法による学習が進まなくなる現象を指します。. 具体的には、学習過程での |eaq| vnw| jbw| pcj| wdj| xtr| lzr| boi| ehc| klt| iuk| dwb| gho| akc| ldo| pps| kja| yvu| pva| bry| yhe| lkf| upb| pea| nbu| mwn| uxl| ivg| zuq| yyj| wbs| eqb| oqk| jyo| nxh| ael| dvv| rul| jmf| rpw| esn| ast| oqg| zsh| ray| opc| ggl| qkl| akq| kay|