ロジスティック回帰境界問題をグラフで解く

シグモイド関数をグラフにすると一次関数と似てる

　本稿の結論はこのグラフである。スライダーを動かせば、シグモイド関数\( \displaystyle f(x)=\frac{1}{1+e^{(-(ax+b))}} \)と一次関数\( f(x)=ax+b \)が良く似ていることを体感できる。

		傾き a	切片 b

【E資格 例題002】ロジスティック回帰境界問題その２

まさにax+b=0で速攻解ける

前回の「【E資格 例題001】ロジスティック回帰境界問題」の「ロジスティック回帰境界問題は結局ax+b=0を解くだけ」という章（冒頭）に記載の

①aとbが与えられてxを求めるか、②xが与えられてaとbを求めるか

で言うと、前回が②で今回（本問）が①に当たる。①の方がよりカンタンなことが、本問を通じて体感できるはず。

【E資格 例題001】ロジスティック回帰境界問題

ロジスティック回帰境界問題は結局\(ax+b=0\)を解くだけ

下記例題のようなロジスティック回帰境界問題において、その境界である"0.5"を右辺に持ってきて公式を変形すると、最後に残るのは\(ax+b=0\)。結局、ロジスティック境界問題は、大きく2通りで、①aとbが与えられてxを求めるか、②xが与えられてaとbを求めるかのどちらか。いずれにせよ\(ax+b=0\)を解くだけだから、中学校の数学でOKだ。		傾き a	切片 b

さて、ロジスティック関数は\( \displaystyle \frac{1}{1+e^{-(ax+b)}}\)という取っ付きにくい公式なのだが、これを左辺とした時、\( \displaystyle 0.5=\frac12\)を右辺に持ってくると見事に解けるのだ（そういう関数なので、当たり前なのだが）。式変形していくとよく分かる。\[ \displaystyle \frac{1}{(1+e^{-(ax+b)})} = \frac12 \Leftrightarrow 1+e^{-(ax+b)} = 2 \Leftrightarrow e^{-(ax+b)} = 1 \Leftrightarrow ax+b=0 \]となり、0.5のわけ、分数のわけ、分母が1+hogeのわけ、全てに意味があったことがわかる。 最後の\(e^{-(ax+b)} = 1 \Leftrightarrow ax+b=0\)だけ難しく見えるかもしれないが\(x^0=1\)という指数法則を使っている（高校数学範疇）。これ以外は中学数学の範疇。式変形も難しくはない。

確率変数と標本空間

E資格でも統計が出てくる。過去にも様々な機会で統計を扱って来たのだが、それでも戸惑いがあったのが「標本空間」という概念だった。

標本空間のわかりやすい絵

結論としては、この絵が最もわかり易かった。元ネタは東北大学照井先生のテキスト。ありがとうございますm(_ _)m

Blogger上でXy-picを動かすのに苦労したからメモるよ

\[ \begin{xy} \xymatrix { U \ar@/_/[ddr]_y \ar@{.>}[dr]|{\langle x,y \rangle} \ar@/^/[drr]^x \\ & X \times_Z Y \ar[d]^q \ar[r]_p & X \ar[d]_f \\ & Y \ar[r]^g & Z } \end{xy} \] ↑こういうカッコイイ図を描きたいな、なんて思ってしまったのが運の尽き。。
まさかここまで苦労するとは。。。

【自分専用備忘録】G検定全23投稿のバックアップしつつ、デザインも変えるよ【完】

ゴールイメージ

1. G検定自己採点記事の全23投稿（全226問）にある「112問」「112問の予想解答」等のタイトルについて、h4タグからh5タグに変える
2. ついでに同投稿のバックアップをとる
3. さらについでに、モバイルでもスクロールとかせずに扱えるように、ナビゲーション・バーを各問題/各予想回答の下部につけちゃう。さらにページ最上部に目次、最下部にはナビゲーション・バーを。
4. 【方針変更】ジャンプリンクを絶対パスにしていたが、相対パス(ex.”#tablecontent”のみ）とする。これに伴い<!--more-->より上のジャンプリンクは<!--more-->より下に変更（<!--more-->を上に持っていく）。

シャノンエントロピーのグラフ

シャノンエントロピーについてはこの記事「シャノンエントロピー（E資格向け）」で、情報量の期待値（平均情報量）すなわち\(H(X)=-\sum_{i}^{n}{P(x_i)}\times\log_2{P(x_i)} \)だとして一旦落ち着けたはずだった。でもちょっと気になることがある。グラフだ。教科書にも乗っている\(\bigcap\)型の。
「P=0.5の時、最大で1をとる」と教わったが、それ以外の時はどうなのか？

シャノンエントロピー（E資格向け）

情報エントロピーの本質を追い求め、随分と遠くまで来てしまった（汗）→詳しくはこの投稿まで。
ここで慌てて舵を切る(；´Д｀)。目の前の目標「E資格」にターゲットを戻すとする（汗）。
さて。結局、シャノンエントロピーとは何なのか？

情報エントロピーと諸行無常とHANABI

情報エントロピーの本質が知りたくなり、数時間かけて尾立 貴志 (Aurues,Takashi)さんの大作「勝手にしやがれエントロピー」を読んだ。正直理解しきれていないが、直観的にも腹落ちする新しい"情報"との出会いの瞬間がいくつもあり、とてもエキサイティングだった。

コインと情報エントロピー

コインの裏表\(\frac{1}{2}\)確率とその情報量（情報エントロピー）の関係についての秀逸な問題に出くわした。

【問題】 発生頻度の低い事象が発生したという情報（例えば、湖で伝説の生物ネッシーを発見）の重要度と、高頻度の事象が発生したという情報（例えば、湖でブラックバスを発見）の重要度とでは、直観的には前者が重要だとわかると思う。情報理論の世界でもこの直観に従う。例えば、10本に1本のアタリを含む商店街のクジに当選した情報より、10000本に1本のアタリを含む年末ジャンボのクジに当選した情報の方（つまり発生確率の低い事象が発生したという情報の方）が、より情報の量が多いことになる。具体的には、2回に1回は起こる事象（確率\(\frac{1}{2}\)の事象）が発生したという情報の大きさを1bitの「自己情報量」と定義する。この情報量は足し合わせ可能な量だと考え、2回に1回は起こるような事象Aと、また別の２回に１回は起こるような事象Bが同時に発生するという事象（確率\(\frac{1}{4}\)の事象）の情報量を2bit、同様の事象Aと同様の事象Bとさらに別の2回に1回は起こるような事象Cが同時に発生するという事象（確率\(\frac{1}{8}\)の事象）の情報量を3bit、といった形で考えていく。この関係を数式で表すと以下のようになる。 \[I=\log_2\big(\frac{1}{p(X)}\big)=-\log_2\big(p(X)\big)\] ※.\(I\)は情報量。\(p(X)\)は事象\(X\)の発生する確率。

上記に従い、以下の問いに答えよ。

1. 1枚のコインを1回投げて表が出たという事象の情報量は何bitか。
2. 2枚のコインを1回投げてすべて表が出たという事象の情報量は何bitか。
3. n枚のコインを1回投げて1枚の表が出たという事象の情報量は何bitか。

確率変数として適当なもの、そうでないもの

「確率変数とは報酬みたいなものだ」と教わって「それはわかりやすい。もう完璧だな」と胡座（あぐら）をかいていたら、この問題にやられてもうた。

曲がったコインのゲームに参加すべきか否か

ある祭で毎年評判の的屋があった。そこに行くと店主が、客に向かってこう言っていた。「このゲームはコインを5回投げて表が出た数✕1千円がもらえるゲームだ。3回表が出れば3千円だ。シンプルだろ。但し、賞金を簡単に持っていかれては困るから、コインが少し曲がっていて、表が出る確率は\(\frac{1}{3}\)になってる。ゲーム代は普段なら1,900円だが、1割引きの1,710円にしておくよ。えーい、今日は端数もいらねぇ。1,700円だ！持ってけ泥棒！！」。
さて、貴方はこの勝負に乗るか降りるか…。

分布の期待値？

こういう問題があった。

表(おもて)がでるという事象に1という数値を、裏がでるという事象に0という数値を対応させ、4枚のコインを同時に投げて裏表どちらが出るかという試行を1200回行ったとして、下の表を作った。この表は確率変数と対応する確率との関係を表すものであるから、確率分布の表現の１つといえる。