Rectified

一、概述 ReLU（Rectified Linear Unit）是神經網絡中一種常用的非線性激活函數。相比於傳統的sigmoid函數和tanh函數，ReLU具有許多優勢。 二、特點…