ReLU: Rectified Linear Unit

Table of Contents

$ ReLU(x) = max(0, x)$

ここで、$ x $はニューロンへの入力を示す。

バリアント：

  • Leaky ReLU
  • Parametric ReLU
  • Constructed ReLU
  • Gaussian-error Linear Unit (GeLU)
  • など

参考文献：