Softmax 回归是是用的一般形式它将logistic 激活函数推广到C类(C是神经网络模型的输出),而不仅仅是两类,是一种多分类器,如果C = 2,那么Softmax实际上变回了 logistic 回归。

逻辑回归使用的是sigmoid函数将$$$$wx+b的值映射到[0, 1]的区间，输出的结果为一个向量向量里的值为样本属于每个標签的概率值。

${}_{}{}^{}\begin{array}{c}{}_{}\\ {}_{}\\ \\ {}_{}\end{array}\frac{\underset{}{\overset{}{}}{{}_{}}^{}}{}\begin{array}{c}{{}_{}}^{}\\ {{}_{}}^{}\\ \\ {{}_{}}^{}\end{array}$hw?(x(j))=??????p1?p2??pc????????=∑i=1K?ezi?1???????ez1?ez2??ezc????????

softmax分类的损失函数是最小化对数似嘫函数的负数：

$\begin{array}{cc}& {}^{}{}^{}\\ & \underset{}{\overset{}{}}{\frac{{{}_{}}^{}}{\underset{}{\overset{}{}}{{}_{}}^{}}}^{{}_{}}\\ & \underset{}{\overset{}{}}{}_{}\frac{{{}_{}}^{}}{\underset{}{\overset{}{}}{{}_{}}^{}}\end{array}$k个类别时指示函数为1。 或者理解为：某个样本$$y=(y1?,y2?,…,yK?)其中只有一个元素是1，如$00$

通过梯度下降法则求解最优参数

$\begin{array}{cc}\frac{}{{}_{}}& \frac{}{{}_{}}\frac{{}_{}}{{}_{}}\\ \frac{}{{}_{}}& \frac{}{{}_{}}\frac{{}_{}}{{}_{}}\end{array}$?wi??L??bi??L??=?zi??L??wi??zi??=?zi??L??bi??zi???