二分分类的定义

输出为对或错，是或否等，即用1和0表示，在二分分类的问题中，我们的最终目标是训练出一个分类器classifier，如下图为例，它以图片的特征向量x为输入，预测输出的结果标签y是1还是0。

样本集的建立

 

对于每一个样本的输入向量x，最好建立成列向量。对于很多样本构成的样本集矩阵，应该是按照列向量堆叠的形式构成，这样的约定规则会使构建过程简单很多。用shape可以查看他们的维度。

解决二分分类问题的方法-----逻辑回归Logistic Regression

 根据机器学习的线性回归，可以用上式预测y的值，但预测的值可能大于1，或者小于0，这样的概率没有意义，与我们的期望值0~1之间是不相符的，我们需要对输出的范围进行限制。

在外层嵌套sigmoid函数， 利用sigmoid函数的性质：

 损失函数Loss function和成本函数cost function

  loss function

误差函数用于衡量预测的准确性。如果用误差平方公式可能会有很多局部最优，用第二种形式的误差函数可以很好解决。误差函数越小越好。

 cost function

成本函数用于衡量参数w，b在训练集上的效果。 在训练logistic regression时，应该选择合适的参数w，b让成本函数J尽可能地小。

梯度下降法求参数

从初始点（一般选取0；随机初始点也可以，但是通常不这么做；从任意点出发，最终应该下降到同一个点）出发，按照梯度最大方向走，到最低点。