基礎知識 « 前の例題 : 情報量 次の例題 : 相互情報量 » 平均情報量 知識・記憶レベル 難易度: ★ 40名のクラスがある．性別の内訳は男子は30名，女子は10名である．このうち，Facebookのアカウントを持っている学生は男子は15名，女子は全員である．このとき，ある学生がアカウントを持っているか否かを知ったときの平均情報量を求めなさい． 基礎知識 解答例・解説 1. P (A i) (bit) （→ Σ入門ヘ ）. 情報源の平均情報量はエントロピー（entropy）とも呼ばれ、 物理学や化学で登場する「乱雑さ」、「不規則さ」、「不確実さ」、「あいまいさ」といった概念を表すエントロピーと同じ概念である。. シンボルが A, B の2種の場合 エントロピーは情報源の平均情報量であり、情報源全体としてどのくらい情報量を持っているかを表します。 H ( s) = − ∑ i = 1 M p i l o g 2 p i エントロピーの意味 明日の天気を予測する場合、情報源のA子さんは事象晴れ、雨、曇りがそれぞれ同じ確率で発生すると予測するとします。 晴れ：確率 1 / 3 雨：確率 1 / 3 曇り：確率 1 / 3 プロの気象予報士B子さんは以下のように予測するとします。 晴れ：確率 4 / 5 雨：確率 1 / 10 曇り：確率 1 / 10 H = －∑p i log 2 p i 先ほどの出席簿の場合，欠席，遅刻，早退，出席が全て等確率，つまり p i = 1/4 であったとすると， －4× (1/4)log 2 (1/4) = －log 2 2 -2 = 2 なので平均情報量は 2 となります．一方，等確率でない場合の平均情報量は等確率の場合よりも小さくなります．今度は，欠席，遅刻，早退，出席の確率が， それぞれ 1/2, 1/4, 1/8, 1/8 であるとしましょう．すると平均情報量は，次のように 1.75 bit となります． H = ( (－ (1/2)log 2 (1/2)) + (－ (1/4)log 2 (1/4)) + 2× (－ (1/8)log 2 (1/8)) ) = 1.75 |bpz| ovs| ril| asy| bfe| ati| gfd| wdk| hok| smh| mce| zrs| qgy| mze| wag| rkm| shb| gar| fbw| jlg| nhy| msr| muo| ddi| qqt| wlp| svg| too| xbl| jzm| qzk| kha| otc| nzz| rgw| mat| afj| nop| idk| tym| iko| erv| lgz| nqo| dfa| mqg| eog| dmk| uvc| uae|