在数学,尤其是概率论和相关领域中,
softmax函数,或称归一化指数函数,是逻辑函数的一种推广。
它能将一个含任意实数的K维向量z“压缩”到另一个K维向量$\sigma(z)$,
使得每一个元素的分布都在(0,1)之间,并且所有元素的和为1。
该函数的形式通常按下面的式子给出:
$\sigma(z)=\frac{s^zj}{\sum_{k=1}^Ke^zk} for j=1,…,K.$
由于softmax的特性,我们常常把它应用于神经网络中
用做激活函数。
下面这篇文章讲解了softmax和另一个常用的激活函数sigmoid函数的区别
参考链接:深度学习: Softmax 函数
而这篇文章则简单对比了一下几个常用的激活函数:
参考链接:常用的激活函数总结(Sigmoid函数、Tanh函数、ReLu函数、Softmax函数)用作loss计算
这篇文章简要说明了,softmax函数如何用作loss计算,以及这么用的好处:
参考链接:Softmax的理解与应用