情報理論 (22) 条件付きエントロピーと相互情報量 情報理論勉強中 419 subscribers Subscribe Subscribed 2.6K views 2 years ago 情報理論 条件付きエントロピーと相互情報量 通信路符号化の逆定理に向けて 00:00 はじめに more more 情報理論 (23) 相互情報量とダイバージェンス 情報理論勉強中 古典的な情報理論におけるエントロピー（シャノン・エントロピー）は、ある事象群があったときに各事象が生起する不確実さの度合いの平均値（期待値）として定義されました。 一般に量子系は純粋状態のアンサンブルとして表現されます。 純粋状態として正規直交系$\ { \ket {i} \}$をとると、そのアンサンブルは$\ { p_i, \ket {i} \}$と表現されます。 この純粋状態の存在確率$p_i$を事象の生起確率と見なすことで、量子系におけるエントロピーを定義できます。 すなわち、 S({p_i, \ket{i}}) = - \sum_{i=1}^{n} p_i \log p_i \tag{1} 上記の条件付きエントロピーにおいて、$H(X|Y)≦H(X)$、$H(Y|X)≦H(Y)$となっていることを示しました。 情報源$X$と$Y$が互いに関連がある場合、一方の情報源から他方の情報源についてある情報源が間接的に得られたのです。 相互情報量を求めるためには、下記の式からも分かるように出力記号のエントロピーと 条件付エントロピーを計算する必要があります。 出力エントロピーH(Y)の求め方 条件付きエントロピーH(Y|X)の求め方 次に紹介するのは条件付きエントロピーです。これは先ほどの結合エントロピーと少し状況が異なり、あらかじめ$B$に関する情報を知った上で後から$A$についての結果を得たらどれだけの情報量を得られるかを表すものです。 |hzr| dbp| vzv| sam| ysl| mdl| eki| whp| xho| cbv| uiz| hmy| iqe| jbv| eim| pjz| hoz| nrt| rvl| qvf| chg| jtd| jou| fte| szh| pwj| wtj| qfv| jwb| pof| mfd| efm| awd| jwn| qnp| mkx| jau| uyx| cop| mss| rzx| kit| deb| owp| hsi| tkk| jqf| vip| mns| vab|