二类逻辑回归

逻辑回归虽然带有回归两个字，但是却是一个分类模型。之所以说是逻辑回归，是因为在二类逻辑回归中，特征的线性转换$w^Tx$被输入到一个Logistic Sigmoid函数（简称Sigmoid 函数）里。
$f(x)=\frac{1}{e^{-w^Tx}}，~~~~(1)$
即
$f(x)=\frac{e^{w^Tx}}{1+e^{w^Tx}}。~~~~(2)$
并且用$f(x)$的值来拟合条件概率$P(Y=1|X=x)$，则$P(Y=0|X=x)=1-f(x)$，这样保证两类概率和等于1。
二类逻辑回归可以利用极大似然法来求确定优化目标（策略），最后利用随机梯度下降或者拟牛顿法进行优化求解（算法）。

多类逻辑回归

在李航《统计学习方法》中，根据(2)式,李航将二类逻辑回归拓展为多类逻辑回归，$K$类分类模型具体形式如下：
$P(Y=c|X=x)=\frac{e^{w_c^Tx}}{1+\sum\limits_{k=1}^{K-1}e^{w_k^Tx}},c=1,...,K-1，$
$P(Y=K|X=x)=\frac{1}{1+\sum\limits_{k=1}^{K-1}e^{w_k^Tx}},c=K。$
从上可以看出，该种多类逻辑回归仅需$K-1$组权重。

而在更多的地方，比如在PRML中，多类逻辑回归利用一种特殊的激励函数$softmax$转换实现：
$P(Y=c|X=x)=\frac{e^{w_c^Tx}}{\sum\limits_{k=1}^{K}e^{w_k^Tx}},c=1,...,K。$
$softmax$转换实际是一种概率归一化技术。
在基于$softmax$的多类逻辑回归中，需要确定$K$组权重。此时的多类逻辑回归相当于1层权重的多类分类神经网络模型。