Rectified

一、概述 ReLU（Rectified Linear Unit）是神经网络中一种常用的非线性激活函数。相比于传统的sigmoid函数和tanh函数，ReLU具有许多优势。 二、特点…