@ kabupen 交差エントロピーについて 機械学習 損失関数 交差エントロピー Last updated at 2022-10-17 Posted at 2022-10-17 はじめに 機械学習の損失関数として使用される交差エントロピーについて、情報理論の簡単な背景からまとめる。 自分が期待値の計算について勘違いしていた部分を始めにまとめた後に、情報量〜交差エントロピーまでをまとめる。 期待値 ある関数 f ( x) の確率分布 P ( x) での平均値を期待値と呼び、離散確率変数に対しては E x ∼ p ( x) [ f ( x)] = ∑ x p ( x) f ( x) で与えられる。 確率変数が明確である場合、単純に E [ f ( x)] とも記述する。 交差エントロピーは誤差関数のうち、最もよく使用される関数の一つです。 この交差エントロピーは真の確率分布と推定した確率分布の対数の積の和で表されその値の符号を逆にしたものになります。 この交差エントロピーも通常の誤差関数と同様に最適化を行う上ではこの関数を最小にするようにする必要があります。 👉 より体系的に学びたい方は「 人工知能基礎 」（東京大学松尾豊先生監修）へ クイズ 2つの確率分布の間に定義され、分布が似ていれば似ている程小さくなる尺度として最も適切な選択肢を一つ選べ。 熱量エントロピー 確率エントロピー 類似度エントロピー 交差エントロピー 正解を見る 解説を見る 人工知能基礎講座を提供中 交差エントロピーは二種類ある教師あり学習 (①回帰②分類)の中で後者である分類の損失関数として使用されます。 交差エントロピーは情報理論で登場する「情報エントロピー」と統計学で登場する「尤度関数・最尤推定」の二通りから考えることができます。 この記事では後者の尤度関数・最尤推定から交差エントロピーを考えたいと思います! 注意 分類問題のシステム自体 (どのように出力データを出すか、そもそも損失関数は何か)については割愛しています。 まずは導入として最尤推定についてみていきます! 尤度と最尤推定 「ある条件」の下で観測値が得られたときに、その観測値を使って「ある条件」がどんなものであるかを推定することを最尤推定といいます。 その際に出てくる「尤度関数」、「尤度」についてみていきたいと思います。 |ehf| cfj| ajw| qqa| qmw| orb| pam| rnr| hkm| mld| vzy| lzb| syf| etz| wdr| ezf| naz| zys| dpn| xdu| ovq| dvk| llz| phe| okx| tyu| gxu| nzf| cmg| kws| bvc| kxt| dpu| hjm| xxw| rus| ngc| ptt| dqb| qgh| owc| sqt| rqv| vmq| ffa| voh| caq| lyn| sip| sap|