シャノンエントロピー（E資格向け）

情報エントロピーの本質を追い求め、随分と遠くまで来てしまった（汗）→詳しくはこの投稿まで。
ここで慌てて舵を切る(；´Д｀)。目の前の目標「E資格」にターゲットを戻すとする（汗）。
さて。結局、シャノンエントロピーとは何なのか？ 教科書には「自己情報量の期待値」あるいは「平均情報量」とある。式にするとこうだ。 \[H(X)=-\sum_{i}^{n}{P(x_i)}\times\log_2{P(x_i)} \] 例の\(期待値=\Sigma確率✕確率変数\)の確率変数のところに、自己情報量を入れただけだ。
わかりやすい具体例はこちらにあったm(__)m。ここでは1〜40の数字を持つルーレットで、平均情報量（自己情報量の期待値）を説明している。Aさんは、次に出る数字が{2,4,6,8,10}のいずれかと知っている。Bさんは全く知らない。そこにミスターXが登場する。その男は答えを知っていて、AさんとBさんに答えを売るという。そんな設定だ（ちょっと違うけど）。

ここで、情報理論の本質ともいえる、とても重要な事実に気が付きます。
それは「男が提供する内容には違いがないのにかかわらず、その事実のもつ重要さが変わってくる」ということ。

もちろん、この「男」とはミスターXのこと。つまりミスターXの答えは、Bさんにとっての方がAさんのそれより貴重だ・重要だ、ということ。つまり普通なら、Bさんの方がより多くお金を出すだろう、ということ。シャノンエントロピーはこれを測れるという。
Aさんのシャノンエントロピー\(H(X)\)は、 \[H(X)=-\sum_{i=1}^{5}{P(x_i)}\times\log_2{P(x_i)} \\ =-\frac{1}{5}\times\big(\log_2{\frac{1}{5}}+\log_2{\frac{1}{5}}+\log_2{\frac{1}{5}}+\log_2{\frac{1}{5}}+\log_2{\frac{1}{5}}\big)\\ ≒2.32 \\ \] 一方、Bさんのシャノンエントロピー\(H(Y)\)は、 \[ H(Y)=-\sum_{i=1}^{40}{P(y_i)}\times\log_2{P(y_i)} \\ =-\frac{1}{40}\times\big(\log_2{\frac{1}{40}}+\log_2{\frac{1}{40}}+...+\log_2{\frac{1}{40}}+\log_2{\frac{1}{40}}\big)\\ ≒5.32 \] 勝手にしやがれ！の世界観からかけ離れている気もするが、解りやすいし、何より思い出し易い。E資格対策としてはこれで十分だろう。尾立さんに怒られそうだが。