4/8 自主ゼミ用

参照

テキスト

問題

one-hot表現層では,正しい出力が0.99以上で活性化し,誤った出力が0.01以下で活性化する.このとき,ビットワイズ表現層の重みとバイアスを計算せよ.

解説

ビットワイズ表現とone-hot表現の対応

①ビットワイズ表現の $2^{3}$ の位が1であるのは,one-hot表現(10進数)が8,9のときのみである.
②ビットワイズ表現の $2^{2}$ の位が1であるのは,one-hot表現(10進数)が4,5,6,7のときのみである.
③ビットワイズ表現の $2^{1}$ の位が1であるのは,one-hot表現(10進数)が2,3のときのみである.
④ビットワイズ表現の $2^{0}$ の位が1であるのは,one-hot表現(10進数)が1,3,5,7,9のときのみ. f:id:python_beginner:20210408203456p:plain

各ビットワイズ表現層の重みベクトル

① $\boldsymbol{w_1}=(0,0,0,0,0,0,0,0,1,1)^{T}$
② $\boldsymbol{w_2}=(0,0,0,0,1,1,1,1,0,0)^{T}$
③ $\boldsymbol{w_3}=(0,0,1,1,0,0,0,0,0,0)^{T}$
④ $\boldsymbol{w_4}=(0,1,0,1,0,1,0,1,0,1)^{T}$
この定数倍なら,バイアスとのかみ合わせでうまくいきそうである.

具体例の考察

ビットワイズ表現層の $2^{3}$ のシグモイドニューロンの重みベクトルとバイアスについて考える.
ⅰ.前の層であるone-hot表現層が正しい出力として判定し,活性化したとき, $\sigma(\boldsymbol{w_1}\boldsymbol{x}+b)\approx\sigma (1+b)\approx 1$ となってほしい.
ⅱ.前の層であるone-hot表現層が正しい出力として判定し,活性化したとき, $\sigma(\boldsymbol{w_1}\boldsymbol{x}+b)\approx\sigma (0+b)\approx\sigma (b)\approx 0$ となってほしい.
ここで,仮に $b=-0.5$ とすると, $\sigma(1+b)=0.6224...$ , $\sigma(b)=0.3775...$ となり,それなりに求めている結果に近い.ここから,重み,ベクトルに対して定数倍して調節することを考える.
問題文から,求める精度 $\alpha$ は0.01であるので,

$1-\alpha\leq\sigma(\tilde{w}(1-\alpha+b)) \\ \sigma(\tilde{w}(2\alpha +b))\leq\alpha$

( $2\alpha$ であるのは,重みベクトルのビットが2本立っているから)
これを計算すると, $\tilde{w}\geq 9.58$ となる.

条件を満たす重みベクトルとバイアスの考察

一般化して考えると,重みベクトルで立っているビットの本数が $n$ 本のとき( $w_2$ なら $n=4$ )

$1-\alpha\leq\sigma(\tilde{w}(1-\alpha+b)) \\ \sigma(\tilde{w}(n\alpha +b))\leq\alpha$

$n$ の取りうる値を考えて, $\tilde{w}\geq 11.49$ となる.求める答えは
すべてのビットワイズ表現層共通で $b=12\times -0.5=-6$ ,
$\boldsymbol{w_1}=12(0,0,0,0,0,0,0,0,1,1)^{T}$
$\boldsymbol{w_2}=12(0,0,0,0,1,1,1,1,0,0)^{T}$
$\boldsymbol{w_3}=12(0,0,1,1,0,0,0,0,0,0)^{T}$
$\boldsymbol{w_4}=12(0,1,0,1,0,1,0,1,0,1)^{T}$