ロジスティック回帰境界問題をグラフで解く

シグモイド関数をグラフにすると一次関数と似てる

　本稿の結論はこのグラフである。スライダーを動かせば、シグモイド関数\( \displaystyle f(x)=\frac{1}{1+e^{(-(ax+b))}} \)と一次関数\( f(x)=ax+b \)が良く似ていることを体感できる。

		傾き a	切片 b

【E資格 例題002】ロジスティック回帰境界問題その２

まさにax+b=0で速攻解ける

前回の「【E資格 例題001】ロジスティック回帰境界問題」の「ロジスティック回帰境界問題は結局ax+b=0を解くだけ」という章（冒頭）に記載の

①aとbが与えられてxを求めるか、②xが与えられてaとbを求めるか

で言うと、前回が②で今回（本問）が①に当たる。①の方がよりカンタンなことが、本問を通じて体感できるはず。

【E資格 例題001】ロジスティック回帰境界問題

ロジスティック回帰境界問題は結局\(ax+b=0\)を解くだけ

下記例題のようなロジスティック回帰境界問題において、その境界である"0.5"を右辺に持ってきて公式を変形すると、最後に残るのは\(ax+b=0\)。結局、ロジスティック境界問題は、大きく2通りで、①aとbが与えられてxを求めるか、②xが与えられてaとbを求めるかのどちらか。いずれにせよ\(ax+b=0\)を解くだけだから、中学校の数学でOKだ。		傾き a	切片 b

さて、ロジスティック関数は\( \displaystyle \frac{1}{1+e^{-(ax+b)}}\)という取っ付きにくい公式なのだが、これを左辺とした時、\( \displaystyle 0.5=\frac12\)を右辺に持ってくると見事に解けるのだ（そういう関数なので、当たり前なのだが）。式変形していくとよく分かる。\[ \displaystyle \frac{1}{(1+e^{-(ax+b)})} = \frac12 \Leftrightarrow 1+e^{-(ax+b)} = 2 \Leftrightarrow e^{-(ax+b)} = 1 \Leftrightarrow ax+b=0 \]となり、0.5のわけ、分数のわけ、分母が1+hogeのわけ、全てに意味があったことがわかる。 最後の\(e^{-(ax+b)} = 1 \Leftrightarrow ax+b=0\)だけ難しく見えるかもしれないが\(x^0=1\)という指数法則を使っている（高校数学範疇）。これ以外は中学数学の範疇。式変形も難しくはない。

確率変数と標本空間

E資格でも統計が出てくる。過去にも様々な機会で統計を扱って来たのだが、それでも戸惑いがあったのが「標本空間」という概念だった。

標本空間のわかりやすい絵

結論としては、この絵が最もわかり易かった。元ネタは東北大学照井先生のテキスト。ありがとうございますm(_ _)m

Blogger上でXy-picを動かすのに苦労したからメモるよ

\[ \begin{xy} \xymatrix { U \ar@/_/[ddr]_y \ar@{.>}[dr]|{\langle x,y \rangle} \ar@/^/[drr]^x \\ & X \times_Z Y \ar[d]^q \ar[r]_p & X \ar[d]_f \\ & Y \ar[r]^g & Z } \end{xy} \] ↑こういうカッコイイ図を描きたいな、なんて思ってしまったのが運の尽き。。
まさかここまで苦労するとは。。。

【自分専用備忘録】G検定全23投稿のバックアップしつつ、デザインも変えるよ【完】

ゴールイメージ

1. G検定自己採点記事の全23投稿（全226問）にある「112問」「112問の予想解答」等のタイトルについて、h4タグからh5タグに変える
2. ついでに同投稿のバックアップをとる
3. さらについでに、モバイルでもスクロールとかせずに扱えるように、ナビゲーション・バーを各問題/各予想回答の下部につけちゃう。さらにページ最上部に目次、最下部にはナビゲーション・バーを。
4. 【方針変更】ジャンプリンクを絶対パスにしていたが、相対パス(ex.”#tablecontent”のみ）とする。これに伴い<!--more-->より上のジャンプリンクは<!--more-->より下に変更（<!--more-->を上に持っていく）。

シャノンエントロピーのグラフ

シャノンエントロピーについてはこの記事「シャノンエントロピー（E資格向け）」で、情報量の期待値（平均情報量）すなわち\(H(X)=-\sum_{i}^{n}{P(x_i)}\times\log_2{P(x_i)} \)だとして一旦落ち着けたはずだった。でもちょっと気になることがある。グラフだ。教科書にも乗っている\(\bigcap\)型の。
「P=0.5の時、最大で1をとる」と教わったが、それ以外の時はどうなのか？

シャノンエントロピー（E資格向け）

情報エントロピーの本質を追い求め、随分と遠くまで来てしまった（汗）→詳しくはこの投稿まで。
ここで慌てて舵を切る(；´Д｀)。目の前の目標「E資格」にターゲットを戻すとする（汗）。
さて。結局、シャノンエントロピーとは何なのか？

情報エントロピーと諸行無常とHANABI

情報エントロピーの本質が知りたくなり、数時間かけて尾立 貴志 (Aurues,Takashi)さんの大作「勝手にしやがれエントロピー」を読んだ。正直理解しきれていないが、直観的にも腹落ちする新しい"情報"との出会いの瞬間がいくつもあり、とてもエキサイティングだった。

コインと情報エントロピー

コインの裏表\(\frac{1}{2}\)確率とその情報量（情報エントロピー）の関係についての秀逸な問題に出くわした。

【問題】 発生頻度の低い事象が発生したという情報（例えば、湖で伝説の生物ネッシーを発見）の重要度と、高頻度の事象が発生したという情報（例えば、湖でブラックバスを発見）の重要度とでは、直観的には前者が重要だとわかると思う。情報理論の世界でもこの直観に従う。例えば、10本に1本のアタリを含む商店街のクジに当選した情報より、10000本に1本のアタリを含む年末ジャンボのクジに当選した情報の方（つまり発生確率の低い事象が発生したという情報の方）が、より情報の量が多いことになる。具体的には、2回に1回は起こる事象（確率\(\frac{1}{2}\)の事象）が発生したという情報の大きさを1bitの「自己情報量」と定義する。この情報量は足し合わせ可能な量だと考え、2回に1回は起こるような事象Aと、また別の２回に１回は起こるような事象Bが同時に発生するという事象（確率\(\frac{1}{4}\)の事象）の情報量を2bit、同様の事象Aと同様の事象Bとさらに別の2回に1回は起こるような事象Cが同時に発生するという事象（確率\(\frac{1}{8}\)の事象）の情報量を3bit、といった形で考えていく。この関係を数式で表すと以下のようになる。 \[I=\log_2\big(\frac{1}{p(X)}\big)=-\log_2\big(p(X)\big)\] ※.\(I\)は情報量。\(p(X)\)は事象\(X\)の発生する確率。

上記に従い、以下の問いに答えよ。

1. 1枚のコインを1回投げて表が出たという事象の情報量は何bitか。
2. 2枚のコインを1回投げてすべて表が出たという事象の情報量は何bitか。
3. n枚のコインを1回投げて1枚の表が出たという事象の情報量は何bitか。

確率変数として適当なもの、そうでないもの

「確率変数とは報酬みたいなものだ」と教わって「それはわかりやすい。もう完璧だな」と胡座（あぐら）をかいていたら、この問題にやられてもうた。

曲がったコインのゲームに参加すべきか否か

ある祭で毎年評判の的屋があった。そこに行くと店主が、客に向かってこう言っていた。「このゲームはコインを5回投げて表が出た数✕1千円がもらえるゲームだ。3回表が出れば3千円だ。シンプルだろ。但し、賞金を簡単に持っていかれては困るから、コインが少し曲がっていて、表が出る確率は\(\frac{1}{3}\)になってる。ゲーム代は普段なら1,900円だが、1割引きの1,710円にしておくよ。えーい、今日は端数もいらねぇ。1,700円だ！持ってけ泥棒！！」。
さて、貴方はこの勝負に乗るか降りるか…。

分布の期待値？

こういう問題があった。

表(おもて)がでるという事象に1という数値を、裏がでるという事象に0という数値を対応させ、4枚のコインを同時に投げて裏表どちらが出るかという試行を1200回行ったとして、下の表を作った。この表は確率変数と対応する確率との関係を表すものであるから、確率分布の表現の１つといえる。

固有値分解問題はまず選択肢から見よう

それは\(\begin{pmatrix} 1 & 2 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{pmatrix}\)を固有値分解せよ、という問題だった。

特異値分解の検算が上手く出来ていなかった件

こちらの特異値分解の計算で、\(VSSV^{-1}\)に右特異ベクトルや特異値(の二乗)を代入して、もとの\(M^{T}M\)に戻るか？といった検算を行ったが、実際には転記ミスが含まれていたのに、その検算では引っかからなかった。検算できてるようで出来ていない…という怖いお話である。

特異値分解を手計算してみる（マチガイ内包編）【注意】

【注意！】この記事にはマチガイがあります。敢えて残しています。

E資格では、特異値分解の手計算までは要求されないという。理解を確認するための穴埋めが中心で、計算があったとして行列の計算とか。とは言っても、やってみないことにはしっくり来ないだろう、ということで手計算してみた。（なお、固有値分解は手計算レベルが必要。）

特異値分解の振り返りとして、固有値分解との比較

特異値分解の理解を深めるために、固有値分解と比較してみた。

固有値分解で、いつのまにλ(Λ)が左から右に移ってる件

固有値分解では、最初に\(A\vec{v}=λ\vec{v}\)と定義しておいて、行列を当てはめていくと\(AV=VΛ\)となり、いつのまにラムダ\(λ(Λ)\)が左から右に移っている。代数のトーシロなりに理由を調べてみた。

固有値分解計算の間違えポイント（備忘録）

\begin{pmatrix} 2 & 1\\ 0 & 6 \end{pmatrix}

の固有値分解の際に、間違えたところ(✕)、怪しかったところ(△)。

お詫び：多くの記事が「下書き」に戻ってました。

結論としては、本ブログに公開していたはずの多くの記事が、いつのまにか下書きになっていました。 

コメントも多数頂いていたのに対応できず、すみませんでした。 

G検定2019#3全問題一覧

全問題一覧を作ってみました！ ここから226問のどの問題にもジャンプすることができます。

問題001 未回答	問題002 未回答	問題003 未回答	問題004 未回答	問題005 未回答	問題006 未回答	問題007 未回答	問題008 未回答	問題009 未回答	問題010 未回答
問題011 未回答	問題012 未回答	問題013 未回答	問題014 未回答	問題015 未回答	問題016 未回答	問題017 未回答	問題018 未回答	問題019 未回答	問題020 未回答
問題021 未回答	問題022 未回答	問題023 未回答	問題024 未回答	問題025 未回答	問題026 未回答	問題027 未回答	問題028 未回答	問題029 未回答	問題030 未回答
問題031 未回答	問題032 未回答	問題033 未回答	問題034 未回答	問題035 未回答	問題036 未回答	問題037 未回答	問題038 未回答	問題039 未回答	問題040 未回答
問題041 未回答	問題042 未回答	問題043 未回答	問題044 未回答	問題045 未回答	問題046 未回答	問題047 未回答	問題048 未回答	問題049 未回答	問題050 未回答
問題051 未回答	問題052 未回答	問題053 未回答	問題054 未回答	問題055 未回答	問題056 未回答	問題057 未回答	問題058 未回答	問題059 未回答	問題060 未回答
問題061 未回答	問題062 未回答	問題063 未回答	問題064 未回答	問題065 未回答	問題066 未回答	問題067 未回答	問題068 未回答	問題069 未回答	問題070 未回答
問題071 未回答	問題072 未回答	問題073 未回答	問題074 未回答	問題075 未回答	問題076 未回答	問題077 未回答	問題078 未回答	問題079 未回答	問題080 未回答
問題081 未回答	問題082 未回答	問題083 未回答	問題084 未回答	問題085 未回答	問題086 未回答	問題087 未回答	問題088 未回答	問題089 未回答	問題090 未回答
問題091 未回答	問題092 未回答	問題093 未回答	問題094 未回答	問題095 未回答	問題096 未回答	問題097 未回答	問題098 未回答	問題099 未回答	問題100 未回答
問題101 未回答	問題102 未回答	問題103 未回答	問題104 未回答	問題105 未回答	問題106 未回答	問題107 未回答	問題108 未回答	問題109 未回答	問題110 未回答
問題111 未回答	問題112 未回答	問題113 未回答	問題114 未回答	問題115 未回答	問題116 未回答	問題117 未回答	問題118 未回答	問題119 未回答	問題120 未回答
問題121 未回答	問題122 未回答	問題123 未回答	問題124 未回答	問題125 未回答	問題126 未回答	問題127 未回答	問題128 未回答	問題129 未回答	問題130 未回答
問題131 未回答	問題132 未回答	問題133 未回答	問題134 未回答	問題135 未回答	問題136 未回答	問題137 未回答	問題138 未回答	問題139 未回答	問題140 未回答
問題141 未回答	問題142 未回答	問題143 未回答	問題144 未回答	問題145 未回答	問題146 未回答	問題147 未回答	問題148 未回答	問題149 未回答	問題150 未回答
問題151 未回答	問題152 未回答	問題153 未回答	問題154 未回答	問題155 未回答	問題156 未回答	問題157 未回答	問題158 未回答	問題159 未回答	問題160 未回答
問題161 未回答	問題162 未回答	問題163 未回答	問題164 未回答	問題165 未回答	問題166 未回答	問題167 未回答	問題168 未回答	問題169 未回答	問題170 未回答
問題171 未回答	問題172 未回答	問題173 未回答	問題174 未回答	問題175 未回答	問題176 未回答	問題177 未回答	問題178 未回答	問題179 未回答	問題180 未回答
問題181 未回答	問題182 未回答	問題183 未回答	問題184 未回答	問題185 未回答	問題186 未回答	問題187 未回答	問題188 未回答	問題189 未回答	問題190 未回答
問題191 未回答	問題192 未回答	問題193 未回答	問題194 未回答	問題195 未回答	問題196 未回答	問題197 未回答	問題198 未回答	問題199 未回答	問題200 未回答
問題201 未回答	問題202 未回答	問題203 未回答	問題204 未回答	問題205 未回答	問題206 未回答	問題207 未回答	問題208 未回答	問題209 未回答	問題210 未回答
問題211 未回答	問題212 未回答	問題213 未回答	問題214 未回答	問題215 未回答	問題216 未回答	問題217 未回答	問題218 未回答	問題219 未回答	問題220 未回答
問題221 未回答	問題222 未回答	問題223 未回答	問題224 未回答	問題225 未回答	問題226 未回答

補足

（補足）実際の試験の「すべての問題を確認する」画面のようなテーストに仕上げたいのですが、ちょっと時間的余裕がないので、ひとまずこのまま公開しまして、後ほど時間のあるときにCSSをいじってみます。

追伸

【2020/8/20追記】 JDLA試験画面風な一覧はこちらに作りました。なお、モバイルはこちらのシンプルな一覧をお勧めします。

G検定2019#3自己採点191−200

新年明けましておめでとうございます。ついに年を越してしまいましたが、メゲずに続けていきます。前回に引き続き、2019年11月9日に行われたJDLA ジェネラリスト検定の自己採点をしていきます。