【E資格 例題002】ロジスティック回帰境界問題その２

まさにax+b=0で速攻解ける

前回の「【E資格 例題001】ロジスティック回帰境界問題」の「ロジスティック回帰境界問題は結局ax+b=0を解くだけ」という章（冒頭）に記載の

①aとbが与えられてxを求めるか、②xが与えられてaとbを求めるか

で言うと、前回が②で今回（本問）が①に当たる。①の方がよりカンタンなことが、本問を通じて体感できるはず。

目次

• まさにax+b=0で速攻解ける
• 例題
• 解答
• 解説
• 備考①：ちゃんと式展開
• 備考②：グラフで見てみる

例題002

ラベルが$y = \{0, 1\}$の1次元入力$x$に対して、ロジスティック回帰モデル$p(y = 1|x) = σ(w_0 + w_{1}x)$を考える。学習の結果$w_0 =-1, w_1 = -2$と求まったとする。このとき決定境界の式はどのように表されるか。なお、$σ(\cdot)$はシグモイド関数とし、$p(y=1|x)$は0.5より大きいなら1に分類し、0.5より小さいなら0に分類するものとする。

例題002の解答

解答（折りたたみ）

$x=-0.5$

例題002の解説

解説（折りたたみ）

結論としては「$ax+b=0$」に当てはめて（$w_0 \rightarrow b, \space w_1 \rightarrow a$と読み替える）、 $$-2x-1=0 \\ \therefore x=-\frac12$$ 以上。
（※解説とはいえ、解答を想起させる恐れがある部分は折りたたみとした）

本問で最も重要な情報は

$σ(\cdot)$はシグモイド関数とし、$p(y=1|x)$は0.5より大きいなら1に分類し、0.5より小さいなら0に分類するものとする

である。これが前提であれば「【E資格 例題001】ロジスティック回帰境界問題」にて式展開した通り、その境界は見事に$ax+b=0$となる。本問でいうと$w_1x+w_0=0$。

備考①：ちゃんと式展開

式展開も含めてイチから書くとこうなる。 $$\displaystyle P(y=1|x)=σ(w_0+w_1x) \dots (1)\\ =\frac{1}{1+e^{-(w_0+w_1x)}} \dots (2)\\ w_0=-1, w_1=-2のとき \\ \displaystyle P(y=1|x) =\frac{1}{1+e^{-(-1-2x)}} =0.5 \dots (3) \\ 1+e^{1+2x}=2 \dots (4) \\ e^{1+2x}=1 \dots (5) \\ 1+2x=0 \dots (6) \\ \therefore x = -0.5$$ ここでは丁寧に(2)式に$w_0=-1, w_1=-2$を代入しているが、代入せずに進んでも(6)式で$w_0+w_1x=0$となるから、実はここで代入すれば良い。
なお、この式展開におけるミソは、(3)式の$0.5=\frac12$が、左辺右辺ともに分数の等式の分母をたすき掛け（あるいは左辺右辺とも分子が1だから、双方逆数をとるという見方でも良い）することにより、2となり、$1+e^{hoge}$の1を差し引いて、結果1となるところ。そして前回も解説した通り、(5)式から(6)式の変形には$x^0=1$という指数法則を使っている。

備考②：グラフで見てみる

「【E資格 例題001】ロジスティック回帰境界問題」冒頭のグラフのスライダーを調節して、$\displaystyle P(y=1|x) =\frac{1}{1+e^{-(-1-2x)}}$を作ってみよう。下図のようになるが、境界である$y=0.5$（下図だと$f(x)=0.5$）と曲線が交わるxの値が確かに-0.5付近であることが確認できる。