Toggle navigation
Phaier School
活性化関数 (Activation function)
入力に対して、どのような出力をするのかを各レイヤーで最終的に決める関数。一般的には、『ある閾値を超えたところから急に出力が増える』ものが多い。
y
i
=
φ
(
∑
i
=
1
m
ω
i
x
i
+
b
)
y_i = \varphi \left( \sum^{m}_{i = 1} \omega_i x_i + b \right)
y
i
=
φ
(
i
=
1
∑
m
ω
i
x
i
+
b
)
$ \varphi $ は活性化関数。
ReLU（ランプ関数）
φ
(
x
)
=
{
0
,
x
<
0
x
,
x
≥
0
\varphi (x) = \left\{ \begin{array}{ll} 0, & x < 0 \\ x, & x \geq 0 \\ \end{array} \right.
φ
(
x
)
=
⎩
⎨
⎧
0
,
x
,
x
<
0
x
≥
0
シグモイド関数
φ
(
x
)
=
1
1
+
e
−
x
=
tanh
(
x
/
2
)
+
1
2
\begin{aligned} \varphi (x) & = \frac{1}{1 + e^{-x}} \\ & = \frac{\tanh (x/2) + 1}{2} \end{aligned}
φ
(
x
)
=
1
+
e
−
x
1
=
2
tanh
(
x
/
2
)
+
1