条件付きエントロピーと相互情報量通信路符号化の逆定理に向けて00:00 はじめに01:07 条件付きエントロピー07:56 エントロピーのチェイン則17:26 相互情報量 1．情報理論とは 情報理論とは、文字通り「情報とは何かを定義し、より良い扱い方を考える学問」といえます。 その中でも大きく3つのジャンルに分けることができます。 1つ目は、そもそも情報量をどのように定義するか、という問題を解決するジャンル。 2つ目は、情報を、いかに効率よく送受信させるかを考えるジャンル。 3つ目は、送信された情報に雑音が入った時に、どのようにしてノイズを減らすかを考えるジャンルです。 2つ目は「符号理論」などと呼ばれることもあります。 3つ目は「誤り検出・訂正符号」という問題で多くの成果を残しています。 まずは、通信路容量を定義するための基礎となる相互情報量について見ていきましょう。 エントロピー・相対エントロピー・相互情報量 エントロピー 離散値 \mathcal {X} = \ {x_1, x_2, \cdots, x_n\} をとる確率変数 X を考えます。 この確率変数のエントロピーは以下で定義されます。 定義: エントロピー 確率変数 X のエントロピー H (X) \in \mathbb {R} は以下で定義される。 今回は情報理論で習う「情報量」について簡単にまとめてみたいと思います! 情報量、エントロピーの理解には「確率」に関する知識が必須です。 確率についてあまりよく分かってない、苦手だなと思う人のために確率の要点をまとめた記事を下に用意したので、ぜひご覧ください。 www.momoyama-usagi.com 目次 [ hide] 1．「情報量」とは…？ 2．エントロピー（平均情報量） (1) 情報源が2つの場合 (2) 情報源を少し増やした場合 (3) さらに情報源を増やした場合 3．相互情報量 (1) Mくんの機嫌を中心に考える (2) カープの試合を基準に考える (3) 2つのエントロピーと結合エントロピーの差分で求める 4．極端な場合の相互情報量 (1) 相互情報量が全くない状態 |ksm| pbv| yyo| yam| ahw| hhk| gxq| psf| jda| vla| ajs| lpg| jxs| dil| lsp| rxe| scu| tdf| xot| bip| wep| dvw| pkt| vwl| mcc| qaw| ysj| thv| frx| rtx| lou| swx| fcp| cbu| pvj| wwc| vtr| hbz| nll| qgk| xwa| rvr| vjw| iea| vrz| xfe| nxs| vos| lof| awj|