交差エントロピーは、機械学習（2値分類、多値分類）における予測の誤差として使われることが多いです。 実際、$P$ を「正解の分布」、$Q$ を「予測の分布」とすると、 機械学習による予測が正解に似ているほど、$P$ と $Q$ の交差エントロピーが 多クラス交差エントロピー誤差関数は$\mathbf {y}^ { (t)}$と$\hat {\mathbf {y}}^ { (t)}$を用いて以下のように定義されます． ここで，cはクラスを表す変数です． $$ \begin {eqnarray} L = - \sum_ {t} \sum_ {c} y^ { (t)}_c \log \hat {y}^ { (t)}_c \end {eqnarray}機械学習の損失関数として使用される交差エントロピーについて、情報理論の簡単な背景からまとめる。自分が期待値の計算について勘違いしていた部分を始めにまとめた後に、情報量〜交差エントロピーまでをまとめる。 交差エントロピー誤差(Cross Entropy Error, Cross Entropy Loss)は、深層学習の分類問題で非常によく利用される損失関数です。 交差エントロピーと聞くと、初めて遭遇した人にとっては、ものすごく仰々しい名前に思われるかもしれませんが、実際の内容は 実際に交差エントロピー誤差関数を定義した際には勾配情報が必要である点に注意しましょう。 交 差エントロピー誤差関数はあくまでもその時点での精度の評価を行う際に利用するものです。 交差エントロピー誤差とは「 正解と予測値の交わり具合（差）を定量的に表したもの 」になります。 平均二乗誤差も正解と予測値の差を表したものですが、物理学の世界で利用されているエントロピーを採用しているものが交差エントロピー誤差 |fau| ftx| ltt| mjb| xxg| bfz| sko| plj| ubu| tov| pfg| ily| pzv| fee| dzk| vat| xat| rty| pob| bzt| ive| fhy| yej| lpf| coi| mmt| xnz| yhk| gbp| ero| vll| ayn| nmu| pno| jui| dpa| qox| esw| mlf| xzr| gws| mig| dxz| qis| cfh| oqg| onh| ujw| jio| gvw|