コインと情報エントロピー

コインの裏表\(\frac{1}{2}\)確率とその情報量（情報エントロピー）の関係についての秀逸な問題に出くわした。

【問題】 発生頻度の低い事象が発生したという情報（例えば、湖で伝説の生物ネッシーを発見）の重要度と、高頻度の事象が発生したという情報（例えば、湖でブラックバスを発見）の重要度とでは、直観的には前者が重要だとわかると思う。情報理論の世界でもこの直観に従う。例えば、10本に1本のアタリを含む商店街のクジに当選した情報より、10000本に1本のアタリを含む年末ジャンボのクジに当選した情報の方（つまり発生確率の低い事象が発生したという情報の方）が、より情報の量が多いことになる。具体的には、2回に1回は起こる事象（確率\(\frac{1}{2}\)の事象）が発生したという情報の大きさを1bitの「自己情報量」と定義する。この情報量は足し合わせ可能な量だと考え、2回に1回は起こるような事象Aと、また別の２回に１回は起こるような事象Bが同時に発生するという事象（確率\(\frac{1}{4}\)の事象）の情報量を2bit、同様の事象Aと同様の事象Bとさらに別の2回に1回は起こるような事象Cが同時に発生するという事象（確率\(\frac{1}{8}\)の事象）の情報量を3bit、といった形で考えていく。この関係を数式で表すと以下のようになる。 \[I=\log_2\big(\frac{1}{p(X)}\big)=-\log_2\big(p(X)\big)\] ※.\(I\)は情報量。\(p(X)\)は事象\(X\)の発生する確率。

上記に従い、以下の問いに答えよ。

1. 1枚のコインを1回投げて表が出たという事象の情報量は何bitか。
2. 2枚のコインを1回投げてすべて表が出たという事象の情報量は何bitか。
3. n枚のコインを1回投げて1枚の表が出たという事象の情報量は何bitか。

【解答】

1. \(I=-\log_2\big(p(X)\big)=-\log_2\big({}_1C_1(\frac{1}{2})^1\big) =-\log_2(2)^{-1}=\log_{2}2=1bit\)
2. \(I=-\log_2\big(p(X)\big)=-\log_2\big({}_2C_2(\frac{1}{2})^2\big) =-\log_2(2)^{-2}=2\log_{2}2=2bit\)
3. \(I=-\log_2\big(p(X)\big)=-\log_2\big({}_nC_1(\frac{1}{2})^1(\frac{1}{2})^{n-1}\big) =-\log_2n(2)^{-n} \\ =-\big(\log_{2}n+\log_{2}(2)^{-n}\big)=-\log_{2}n+n\log_{2}2=(n-\log_{2}n)bit\)

【解説】
良問だと思った理由は以下の通り。

1. 問を1→2→3と進めて行くと、次第にわかってくる。これが問3だけだったら、ただの難問。
2. \(\bbox[orange]{-}\log_2\big(p(X)\big)\)の対数の外にある\(\bbox[orange]{-}\)(マイナス)の意味がわかる。確かに、確率\(p(X)\)の逆数である\(\frac{1}{p(X)}=p(X)^{\bbox[orange]{-1}}\)の対数をとり、その指数\(\bbox[orange]{-1}\)を対数の外に出しただけ。つまり式変形したら出てきた\(\bbox[orange]{-}\)(マイナス)というだけなのだが、実際に確率\(\frac{1}{2}\)・\(\frac{1}{4}\)…を入れていくと、\(2^{-1}\)・\(2^{-2}\)…と計算することになり、対数の外の\(\bbox[orange]{-}\)(マイナス)が打ち消してくれる。確率が低い情報の情報量が大きいことを、計算を通して感じられた。
3. この問題を通して改めて対数の本質に迫り、\(-\log_2\big(p(X)\big)\)という式が、まさに「対象の事象の発生頻度が低ければ低いほど、情報量が多くなることを示している」とわかり、納得できた。対数の本質はこちら→「対数とは何なのかとその公式・メリットについて。対数をとるとはどういう意味か？｜アタリマエ！」にお世話になったm(__)m