コインと情報エントロピー

コインの裏表$\frac{1}{2}$確率とその情報量（情報エントロピー）の関係についての秀逸な問題に出くわした。

【問題】 発生頻度の低い事象が発生したという情報（例えば、湖で伝説の生物ネッシーを発見）の重要度と、高頻度の事象が発生したという情報（例えば、湖でブラックバスを発見）の重要度とでは、直観的には前者が重要だとわかると思う。情報理論の世界でもこの直観に従う。例えば、10本に1本のアタリを含む商店街のクジに当選した情報より、10000本に1本のアタリを含む年末ジャンボのクジに当選した情報の方（つまり発生確率の低い事象が発生したという情報の方）が、より情報の量が多いことになる。具体的には、2回に1回は起こる事象（確率$\frac{1}{2}$の事象）が発生したという情報の大きさを1bitの「自己情報量」と定義する。この情報量は足し合わせ可能な量だと考え、2回に1回は起こるような事象Aと、また別の２回に１回は起こるような事象Bが同時に発生するという事象（確率$\frac{1}{4}$の事象）の情報量を2bit、同様の事象Aと同様の事象Bとさらに別の2回に1回は起こるような事象Cが同時に発生するという事象（確率$\frac{1}{8}$の事象）の情報量を3bit、といった形で考えていく。この関係を数式で表すと以下のようになる。 $$I=\log_2\big(\frac{1}{p(X)}\big)=-\log_2\big(p(X)\big)$$ ※.$I$は情報量。$p(X)$は事象$X$の発生する確率。

上記に従い、以下の問いに答えよ。

1. 1枚のコインを1回投げて表が出たという事象の情報量は何bitか。
2. 2枚のコインを1回投げてすべて表が出たという事象の情報量は何bitか。
3. n枚のコインを1回投げて1枚の表が出たという事象の情報量は何bitか。

【解答】

1. $I=-\log_2\big(p(X)\big)=-\log_2\big({}_1C_1(\frac{1}{2})^1\big) =-\log_2(2)^{-1}=\log_{2}2=1bit$
2. $I=-\log_2\big(p(X)\big)=-\log_2\big({}_2C_2(\frac{1}{2})^2\big) =-\log_2(2)^{-2}=2\log_{2}2=2bit$
3. $I=-\log_2\big(p(X)\big)=-\log_2\big({}_nC_1(\frac{1}{2})^1(\frac{1}{2})^{n-1}\big) =-\log_2n(2)^{-n} \\ =-\big(\log_{2}n+\log_{2}(2)^{-n}\big)=-\log_{2}n+n\log_{2}2=(n-\log_{2}n)bit$

【解説】
良問だと思った理由は以下の通り。

1. 問を1→2→3と進めて行くと、次第にわかってくる。これが問3だけだったら、ただの難問。
2. $\bbox[orange]{-}\log_2\big(p(X)\big)$の対数の外にある$\bbox[orange]{-}$(マイナス)の意味がわかる。確かに、確率$p(X)$の逆数である$\frac{1}{p(X)}=p(X)^{\bbox[orange]{-1}}$の対数をとり、その指数$\bbox[orange]{-1}$を対数の外に出しただけ。つまり式変形したら出てきた$\bbox[orange]{-}$(マイナス)というだけなのだが、実際に確率$\frac{1}{2}$・$\frac{1}{4}$…を入れていくと、$2^{-1}$・$2^{-2}$…と計算することになり、対数の外の$\bbox[orange]{-}$(マイナス)が打ち消してくれる。確率が低い情報の情報量が大きいことを、計算を通して感じられた。
3. この問題を通して改めて対数の本質に迫り、$-\log_2\big(p(X)\big)$という式が、まさに「対象の事象の発生頻度が低ければ低いほど、情報量が多くなることを示している」とわかり、納得できた。対数の本質はこちら→「対数とは何なのかとその公式・メリットについて。対数をとるとはどういう意味か？｜アタリマエ！」にお世話になったm(__)m