シャノンエントロピーのグラフ

シャノンエントロピーについてはこの記事「シャノンエントロピー（E資格向け）」で、情報量の期待値（平均情報量）すなわち\(H(X)=-\sum_{i}^{n}{P(x_i)}\times\log_2{P(x_i)} \)だとして一旦落ち着けたはずだった。でもちょっと気になることがある。グラフだ。教科書にも乗っている\(\bigcap\)型の。
「P=0.5の時、最大で1をとる」と教わったが、それ以外の時はどうなのか？
さて、日本語で検索しても適当なものがパッと出てこない。P=0.5以外のケースを図示するものが見当たらない。やむなく海外へ飛ぶと、すぐにこのグラフが見つかった。


この例をむっちゃ丁寧に計算すると、こうなる。 \[H(X_{55})=-\big(0.5\times\log_2{0.5}+0.5\times\log_2{0.5}\big)\\ =-\big(0.9\times\log_2{\frac{1}{2}}+0.1\times\log_2{\frac{1}{2}}\big)\\ =0.9\times\log_2{2}+0.1\times\log_2{2}\\ =1\] \[H(X_{91})=-\big(0.9\times\log_2{0.9}+0.1\times\log_2{0.1}\big)\\ =-\big(0.9\times\log_2{\frac{9}{10}}+0.1\times\log_2{\frac{1}{10}}\big)\\ =0.9\times\log_2{\frac{10}{9}}+0.1\times\log_2{\frac{10}{1}}\\=(0.9+0.1)\log_2{10}-0.9\log_2{9}-0.1\log_2{1}\\ =3.322-0.9\times3.170-0\\ =0.469\]
ちなみに、この記事で考えた曲がったコインの場合はどうなるか。「50-50コイン」のように表記するとすれば、「\(\frac{1}{3}\)-\(\frac{2}{3}\)コイン」ということになる。 \[H\big(X_{\frac{1}{3}\frac{2}{3}}\big)=-\big(\frac{1}{3}\times\log_2{\frac{1}{3}}+\frac{2}{3}\times\log_2{\frac{2}{3}}\big)\\ =\big(\frac{1}{3}\times\log_2{3}+\frac{2}{3}\times\log_2{\frac{3}{2}}\big)\\ =\big(\frac{1}{3}+\frac{2}{3}\big)\log_2{3}-\frac{2}{3}\log_2{2}\\ =\log_2{3}-\frac{2}{3}\\ =1.585-0.\dot{6}\\ =0.918 \] なお、グラフの解釈だが、E資格対策的には「90-10コインより、50-50コインの方が、予想がつきにくい→不確実性（情報エントロピー）が大きい→平均情報量も大きい」という程度で良いだろう。

ただし、勝手にしやがれ！な世界観だと

シャノンの情報エントロピーとは結局のところ、十分に長い時間が経過した（完全事象系において事象がほぼ無限回出現し、そのために大数の法則が働いた）ときの、系の平均情報量である、つまり系の平衡状態における平均情報量

だということを、付け加えておく。