开始一个新的系列，换一换口味
分析机器学习算法的一般思路：
1、确定预测函数或者判别函数，一般表示为H函数;
2、确定Cost函数，表示的是预测输出值与训练数据之间的偏差;
3、确定优化算法。

一、前言
logistic回归是常用的二分类模型，属于判别模型。softmax模型是logistic回归的多分类拓展。最大熵模型是由最大熵理论推导出来的，推导可以证明最大熵模型的极大似然估计与最大熵模型的学习问题等价。
二、logistic回归基本原理
logistic回归与线性回归的原理相似，不同的是前者是在后者的基础上，将线性回归的结果通过sigmod函数映射到(0,1)区间，从而表征了输入数据属于某一类别的概率的大小。

1、预测函数
输入为$(x,y)$,其中$x = (x^1,x^2,...,x^n)$,$y\in\{0，1\}$。
权值$w = (w^1,w^2,...,w^n)$。
为了表示的方便，可以作如下扩充：
$x = (x^1,x^2,...,x^n,1)$;
$w = (w^1,w^2,...,w^n,b)$;
那么根据前述可得其预测函数为：
$P(Y=1|x) =z=\frac{1}{1+e^{-{w\cdot x}}}$
$P(Y=0|x) =\frac{1}{1+e^{{w\cdot x}}}$
上述二式分别表示在输入为x的情况下，输出为1或者0的概率。
对数几率：
一件事的几率为该件事情发生的概率与不发生的概率的比值。几率的log函数就是对数几率函数。

因为$P(Y=1|x) =z=\frac{1}{1+e^{-{w\cdot x}}}$

$log(\frac{P(Y=1|x)}{1-P(Y=1|x)} )=w\cdot x$

注： 下面将用$\theta$表示$w$

2、损失函数
综合其预测函数可得：
$P(Y|X;w) =z^{y}\cdot (1-z)^{1-y}$;
假设输入都条件独立，那么其联合概率分布就是边缘概率分布的乘积，那么就可以得到其对数似然函数：
$L(\theta) = \sum_1^N[y_ilog(z_i)+(1-y_i)log(1-z_i)]$
从另一方面讲，这里的损失函数就是负log函数。

3、优化方法
这样实际上将问题转变为了对数似然函数为目标函数的最优化问题，采用梯度下降法。
令$J(w)=-\frac{1}{m}L(w)$
如果不做此更改就使用梯度上升法，只是符号不同而已。
梯度下降法就是求$J(\theta)$的偏导为0时的w取值，求偏导还不简单：
$w_j := w_j - \alpha\frac{\partial}{\partial wj}J(w)$
$\frac{\partial}{\partial w}J(w) = \frac{1}{m}\sum_1^m(z_i-y^i)x_j^i$
虽然求偏导确实简单，但是还是写一下吧….
$J(w)=-\frac{1}{m}\sum_1^N[y_ilog(z_i)+(1-y_i)log(1-z_i)]$
$\frac{\partial J(w)}{\partial w}=\frac{-\frac{1}{m}\sum_1^N[y_ilog(z_i)+(1-y_i)log(1-z_i)]}{\partial w}\ = -\sum_1^N[y_i*\frac{1}{z_i}-(1-y_i)\frac{1}{1-y_i}]*\frac{\partial z_i}{\partial w}=-\sum_1^N[y_i(1-z_i)-(1-y_i)z_i]*x=\sum_1^N(z_i-y_i)x_i$

三、多分类推广
假设Y的取值集合为$\{1,2,3,...,K\}$,那么可以得到其预测函数：
$P(Y=k|x) = \frac{e^{\theta_k}\cdot x}{1+\sum_1^{K-1}e^{\theta_j\cdot x}}$

易得softmax的预测函数表达式为：
$P(Y=k|x) = \frac{1}{\sum_1^{K}e^{\theta_j\cdot x}}[e^{\theta_k}\cdot x]$
该式上下同除$e^{\theta_1}\cdot x$,分式结果不变，进行参数等价替换后正好与logistic多分类推广的预测函数相等。

而softmax的优化方法跟logistic一样：

具体见反向计算那块caffe源码之softmax

结论，softmax模型是logistic模型的多分类推广。