【E資格 例題002】ロジスティック回帰境界問題その２

まさにax+b=0で速攻解ける

前回の「【E資格 例題001】ロジスティック回帰境界問題」の「ロジスティック回帰境界問題は結局ax+b=0を解くだけ」という章（冒頭）に記載の

①aとbが与えられてxを求めるか、②xが与えられてaとbを求めるか

で言うと、前回が②で今回（本問）が①に当たる。①の方がよりカンタンなことが、本問を通じて体感できるはず。

目次

• まさにax+b=0で速攻解ける
• 例題
• 解答
• 解説
• 備考①：ちゃんと式展開
• 備考②：グラフで見てみる

例題002

ラベルが\(y = \{0, 1\}\)の1次元入力\(x\)に対して、ロジスティック回帰モデル\(p(y = 1|x) = σ(w_0 + w_{1}x)\)を考える。学習の結果\(w_0 =-1, w_1 = -2\)と求まったとする。このとき決定境界の式はどのように表されるか。なお、\(σ(\cdot)\)はシグモイド関数とし、\(p(y=1|x)\)は0.5より大きいなら1に分類し、0.5より小さいなら0に分類するものとする。

例題002の解答

解答（折りたたみ）

\(x=-0.5\)

例題002の解説

解説（折りたたみ）

結論としては「\(ax+b=0\)」に当てはめて（\(w_0 \rightarrow b, \space w_1 \rightarrow a\)と読み替える）、 \[-2x-1=0 \\ \therefore x=-\frac12 \] 以上。
（※解説とはいえ、解答を想起させる恐れがある部分は折りたたみとした）

本問で最も重要な情報は

\(σ(\cdot)\)はシグモイド関数とし、\(p(y=1|x)\)は0.5より大きいなら1に分類し、0.5より小さいなら0に分類するものとする

である。これが前提であれば「【E資格 例題001】ロジスティック回帰境界問題」にて式展開した通り、その境界は見事に\(ax+b=0\)となる。本問でいうと\(w_1x+w_0=0\)。

備考①：ちゃんと式展開

式展開も含めてイチから書くとこうなる。 \[ \displaystyle P(y=1|x)=σ(w_0+w_1x) \dots (1)\\ =\frac{1}{1+e^{-(w_0+w_1x)}} \dots (2)\\ w_0=-1, w_1=-2のとき \\ \displaystyle P(y=1|x) =\frac{1}{1+e^{-(-1-2x)}} =0.5 \dots (3) \\ 1+e^{1+2x}=2 \dots (4) \\ e^{1+2x}=1 \dots (5) \\ 1+2x=0 \dots (6) \\ \therefore x = -0.5 \] ここでは丁寧に(2)式に\(w_0=-1, w_1=-2\)を代入しているが、代入せずに進んでも(6)式で\(w_0+w_1x=0\)となるから、実はここで代入すれば良い。
なお、この式展開におけるミソは、(3)式の\(0.5=\frac12\)が、左辺右辺ともに分数の等式の分母をたすき掛け（あるいは左辺右辺とも分子が1だから、双方逆数をとるという見方でも良い）することにより、2となり、\(1+e^{hoge}\)の1を差し引いて、結果1となるところ。そして前回も解説した通り、(5)式から(6)式の変形には\(x^0=1\)という指数法則を使っている。

備考②：グラフで見てみる

「【E資格 例題001】ロジスティック回帰境界問題」冒頭のグラフのスライダーを調節して、\(\displaystyle P(y=1|x) =\frac{1}{1+e^{-(-1-2x)}} \)を作ってみよう。下図のようになるが、境界である\(y=0.5\)（下図だと\(f(x)=0.5\)）と曲線が交わるxの値が確かに-0.5付近であることが確認できる。