【E資格 例題001】ロジスティック回帰境界問題

ロジスティック回帰境界問題は結局$ax+b=0$を解くだけ

下記例題のようなロジスティック回帰境界問題において、その境界である"0.5"を右辺に持ってきて公式を変形すると、最後に残るのは$ax+b=0$。結局、ロジスティック境界問題は、大きく2通りで、①aとbが与えられてxを求めるか、②xが与えられてaとbを求めるかのどちらか。いずれにせよ$ax+b=0$を解くだけだから、中学校の数学でOKだ。		傾き a	切片 b

さて、ロジスティック関数は$\displaystyle \frac{1}{1+e^{-(ax+b)}}$という取っ付きにくい公式なのだが、これを左辺とした時、$\displaystyle 0.5=\frac12$を右辺に持ってくると見事に解けるのだ（そういう関数なので、当たり前なのだが）。式変形していくとよく分かる。 $$\displaystyle \frac{1}{(1+e^{-(ax+b)})} = \frac12 \Leftrightarrow 1+e^{-(ax+b)} = 2 \Leftrightarrow e^{-(ax+b)} = 1 \Leftrightarrow ax+b=0$$ となり、0.5のわけ、分数のわけ、分母が1+hogeのわけ、全てに意味があったことがわかる。 最後の$e^{-(ax+b)} = 1 \Leftrightarrow ax+b=0$だけ難しく見えるかもしれないが$x^0=1$という指数法則を使っている（高校数学範疇）。これ以外は中学数学の範疇。式変形も難しくはない。

目次

• ロジスティック回帰境界問題は結局$ax+b=0$を解くだけ
• 例題
• 解答
• 解説
• 備考①：不等号でも素直に$ax+b[=><]0$を解くだけでいい
• 備考②：グラフで見てみる
• 備考③：E資格で問われること
• 【9/4追記】グラフで解く別解

例題001

ラベルが$y={0, 1}$の1次元入力$x$に対して、ロジスティック回帰モデル$p(y=1|x)=σ(w_0+w_1\cdot x)$が与えられるとき、表1の検証データを最も良く判別するようなパラメータ$w_0, w_1$の組み合わせはどれか。ただし、$σ(\cdot)$はシグモイド関数が0.5より大きいなら$Y=1$とし、0.5より小さいなら$Y=0$とする。

表1	X	-1	-4	4	2	0
	Y	1	1	0	0	1

1. $w_0=0.5, w_1=1$
2. $w_0=0.5, w_1=-1$
3. $w_0=-0.5, w_1=1$
4. $w_0=-0.5, w_1=-1$

例題001の解答

解答（折りたたみ）

B. $w_0=0.5, w_1=-1$

例題001の解説

まず、表1を表2に変形できれば、ゴールにぐっと近づく。条件に「$σ(\cdot)$はシグモイド関数が0.5より大きいなら$Y=1$とし、0.5より小さいなら$Y=0$とする」とあるから、XとYと$σ(\cdot)$の関係はこうなるはずだ。

表2	X	-4	-1	0	2	4
	σ(x)	>0.5	>0.5	>0.5	<0.5	<0.5
	Y	1	1	1	0	0

境界問題とは、この表2の二重線(‖)が境界になるようなシグモイド関数を見つける問題だ。この例だと$x=0$のとき$σ(x)>0.5$、$x=2$のとき$σ(x)<0.5$になるような$\displaystyle \frac{1}{1+e^{-(w_0+w_1 \cdot x)}}$の$(w_0,w_1)$を見つけることになる。

$式変形(前出) \\ σ(0)=\frac{1}{1+e^{-(w_0+w_1 \cdot x)}}=0.5 \\ 1+e^{-(w_0+w_1 \cdot x)}=2 \\ e^{-(w_0+w_1 \cdot x)}=1 \\ -(w_0+w_1 \cdot x)=0 \\ w_0+w_1 \cdot x=0$

$x=0のとき、\\ σ(0)=\frac{1}{1+e^{-w_0}}>0.5 \\ 1+e^{-w_0}<2 \\ e^{-w_0}<1 \\ -w_0<0 \\ \therefore w_0>0 \dots(1)$

$x=2のとき、\\ σ(0)=\frac{1}{1+e^{-w_0-2w_1}}<0.5 \\ 1+e^{-w_0-2w_1}>2 \\ e^{-w_0-2w_1}>1 \\ -w_0-2w_1>0 \\ w_0+2w_1<0 \dots(2)$

実は(2)式だけ完結していないが、(1)式と合わせて考えると$w_1<0 \dots(3)$となる。つまり、$w_0>0, w_1<0$を満たす選択肢はB.$w_0=0.5, w_1=-1$となる。

備考①：不等号でも素直に$ax+b[=><]0$を解くだけでいい

解説からもう1歩踏み込んでみよう。冒頭の「結局$ax+b=0$を解くだけ」についてだ。今回はxとyが与えられ、aとb（本問の場合は$w_1とw_0$）を導く問題だった。その為、$ax+b=0$のような単純な等号ではなかった。しかし、解説の式変形で見てわかるとおり、不等号の式変形も、途中こそ不等号が逆になるが、結局$ax+b>0$か$ax+b<0$と素直にやってしまって問題が無い。結局のところ$\displaystyle \frac{1}{1+e^{-(ax+b)}}$に出てくる分数やマイナス符号や「1」も含めて、全ては$ax+b[=><]0$となるよう、不等号の向き含めて、作られているからだ。
つまり、こうなる。（注意：$b \rightarrow w_0, a \rightarrow w_1$と読みかえる）

$x=0のとき、不等号の向きは>0.5 \\ a×0+b>0 \\ b>0$

$x=2のとき、不等号の向きは<0.5 \\ a×2+b<0 \\ a<0$

備考②：グラフで見てみる

冒頭のグラフのスライダーを動かして$\displaystyle \frac{1}{(1+e^{-(0.5-x)})}$を表示してみよう。右のようなグラフが出来るはず。このグラフ縦軸($f(x)$)方向の中央が0.5の境界で、それより上がY=1、下がY=0。横軸($x$)方向で見て0と2の間に境界があるのが見て取れる。

備考③：E資格で問われること

【以下、多分に推測を含むのでご注意願う】E資格で問われるロジスティック境界問題は、ほとんどに選択肢が設けられ、傾きと切片が①正正、②正負、③負正、④負負の何れに当たるか？を問われる程度ではないか。数学検定ではないから「難しい計算を確実に迅速に」が求められているわけではない。あくまでもロジスティック回帰を実現するのにシグモイド関数がどう働き、又、どう設定すれば思い通りに動くのか。使い方の基本を理解しているかが問われるのだと思う。

【9/4追記】グラフで解く別解

グラフで解いた別解をこちらに投稿した。