確率変数と標本空間

E資格でも統計が出てくる。過去にも様々な機会で統計を扱って来たのだが、それでも戸惑いがあったのが「標本空間」という概念だった。

標本空間のわかりやすい絵

結論としては、この絵が最もわかり易かった。元ネタは東北大学照井先生のテキスト。ありがとうございますm(_ _)m

シャノンエントロピー（E資格向け）

情報エントロピーの本質を追い求め、随分と遠くまで来てしまった（汗）→詳しくはこの投稿まで。
ここで慌てて舵を切る(；´Д｀)。目の前の目標「E資格」にターゲットを戻すとする（汗）。
さて。結局、シャノンエントロピーとは何なのか？

コインと情報エントロピー

コインの裏表\(\frac{1}{2}\)確率とその情報量（情報エントロピー）の関係についての秀逸な問題に出くわした。

【問題】 発生頻度の低い事象が発生したという情報（例えば、湖で伝説の生物ネッシーを発見）の重要度と、高頻度の事象が発生したという情報（例えば、湖でブラックバスを発見）の重要度とでは、直観的には前者が重要だとわかると思う。情報理論の世界でもこの直観に従う。例えば、10本に1本のアタリを含む商店街のクジに当選した情報より、10000本に1本のアタリを含む年末ジャンボのクジに当選した情報の方（つまり発生確率の低い事象が発生したという情報の方）が、より情報の量が多いことになる。具体的には、2回に1回は起こる事象（確率\(\frac{1}{2}\)の事象）が発生したという情報の大きさを1bitの「自己情報量」と定義する。この情報量は足し合わせ可能な量だと考え、2回に1回は起こるような事象Aと、また別の２回に１回は起こるような事象Bが同時に発生するという事象（確率\(\frac{1}{4}\)の事象）の情報量を2bit、同様の事象Aと同様の事象Bとさらに別の2回に1回は起こるような事象Cが同時に発生するという事象（確率\(\frac{1}{8}\)の事象）の情報量を3bit、といった形で考えていく。この関係を数式で表すと以下のようになる。 \[I=\log_2\big(\frac{1}{p(X)}\big)=-\log_2\big(p(X)\big)\] ※.\(I\)は情報量。\(p(X)\)は事象\(X\)の発生する確率。

上記に従い、以下の問いに答えよ。

1. 1枚のコインを1回投げて表が出たという事象の情報量は何bitか。
2. 2枚のコインを1回投げてすべて表が出たという事象の情報量は何bitか。
3. n枚のコインを1回投げて1枚の表が出たという事象の情報量は何bitか。

曲がったコインのゲームに参加すべきか否か

ある祭で毎年評判の的屋があった。そこに行くと店主が、客に向かってこう言っていた。「このゲームはコインを5回投げて表が出た数✕1千円がもらえるゲームだ。3回表が出れば3千円だ。シンプルだろ。但し、賞金を簡単に持っていかれては困るから、コインが少し曲がっていて、表が出る確率は\(\frac{1}{3}\)になってる。ゲーム代は普段なら1,900円だが、1割引きの1,710円にしておくよ。えーい、今日は端数もいらねぇ。1,700円だ！持ってけ泥棒！！」。
さて、貴方はこの勝負に乗るか降りるか…。

分布の期待値？

こういう問題があった。

表(おもて)がでるという事象に1という数値を、裏がでるという事象に0という数値を対応させ、4枚のコインを同時に投げて裏表どちらが出るかという試行を1200回行ったとして、下の表を作った。この表は確率変数と対応する確率との関係を表すものであるから、確率分布の表現の１つといえる。