写在最前面，此博客来自于博主看吴恩达Coursera深度学习专项课程的读书笔记，主要是我个人认为比较重要的知识点，很好的一门课，欢迎大家一起学习。

第一周 深度学习引言

1. 结构化数据和非结构化数据：结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

2. 从历史经验上看，处理非结构化数据是很难的，与结构化数据比较，让计算机理解非结构化数据很难，而人类进化得非常善于理解音频信号和图像，文本是一个更近代的发明，但是人们真的很擅长解读非结构化数据。

3. 最可靠的方法来在神经网络上获得更好的性能，往往就是要么训练一个更大的神经网络，要么投入更多的数据，这只能在一定程度上起作用，因为最终你耗尽了数据，或者最终你的网络是如此大规模导致将要用太久的时间去训练，但是仅仅提升规模的的确确地让我们在深度学习的世界中摸索了很多时间

4. 在这个区域，也就是这个sigmoid函数的梯度会接近零，所以学习的速度会变得非常缓慢，因为当你实现梯度下降以及梯度接近零的时候，参数会更新的很慢，所以学习的速率也会变的很慢，而通过改变这个被叫做激活函数的东西，神经网络换用这一个函数，叫做ReLU的函数（修正线性单元），ReLU它的梯度对于所有输入的负值都是零，因此梯度更加不会趋向逐渐减少到零。而这里的梯度，这条线的斜率在这左边是零，仅仅通过将Sigmod函数转换成ReLU函数，便能够使得一个叫做梯度下降（gradient descent）的算法运行的更快，这就是一个或许相对比较简单的算法创新的例子

5. 算法的运行速度快可以让我们对想法进行更多次的迭代。

6. 对图像进行识别时，X.shape等于(n_x,m)，Y.shape等于(1,m)，其中n_x代表图像的像素点的个数

7. sigmoid的作用之一：将最终的输出缩放到（0，1）之间
   

8. Loss function:L(^y,y)：损失函数，来衡量预测输出值和实际值有多接近。一般我们用预测值和实际值的平方差或者它们平方差的一半，但是通常在逻辑回归中我们不这么做，因为当我们在学习逻辑回归参数的时候，会发现我们的优化目标不是凸优化，只能找到多个局部最优值，梯度下降法很可能找不到全局最优值，虽然平方差是一个不错的损失函数，但是我们在逻辑回归模型中会定义另外一个损失函数。我们在逻辑回归中用到的损失函数是：

9. 为什么逻辑回归可以使用这个损失函数：
   

10. 逻辑回归中m个样本的总的损失函数为：
    

11. 怎么在logistic regression中做gradient descent：
    :=表示更新参数
    a 表示学习率（learning rate），用来控制步长（step），即向下走一步的长度
    

12. Computation Graph（计算图）：
    计算图组织计算的形式是用蓝色箭头从左到右的计算，反向红色箭头是对导数的计算，我理解用计算图区求导其实就是求导的链式法则，只不过吴恩达老师在课堂上把它用计算图讲的更加形象生动了一点。

13. 逻辑回归中的梯度下降：现在还不太会在markdown中敲公式，就直接手写推了一遍，以后有空的时候再敲。
    

14. 向量化：计算z=w^T x+b如果用非向量化的形式：
    z=0
    for i in range(n_x)
    z+=w[i]*x[i]
    z+=b
    而向量化的形式只需要：
    z=np.dot(w,x)+b
    和for循环相比，向量化可以快速得到结果

15. 向量化后的logistic regression：
    

16. A.sum(axis = 0)中的参数axis。axis用来指明将要进行的运算是沿着哪个轴执行，在numpy中，0轴是垂直的，也就是列，而1轴是水平的，也就是行

17. 重塑操作reshape是一个常量时间的操作，时间复杂度是O(1)，它的调用代价极低。

18. numpy中的广播机制：
    numpy广播机制
    如果两个数组的后缘维度的轴长度相符或其中一方的轴长度为1，则认为它们是广播兼容的。广播会在缺失维度和轴长度为1的维度上进行。
    后缘维度的轴长度：A.shape[-1] 即矩阵维度元组中的最后一个位置的值

19. 举例1：矩阵 A_3,4 后缘维度的轴长度是4，而矩阵 cal_1,4 的后缘维度也是4，则他们满足后缘维度轴长度相符，可以进行广播。广播会在轴长度为1的维度进行，轴长度为1的维度对应axis=0，即垂直方向，矩阵 cal_1,4 沿axis=0(垂直方向)复制成为 〖cal_temp〗_3,4 ，之后两者进行逐元素除法运算。

20. 矩阵 A_(m,n) 和矩阵 B_(1,n) 进行四则运算，后缘维度轴长度相符，可以广播，广播沿着轴长度为1的轴进行，即 B_(1,n) 广播成为 B_(m,n)’ ，之后做逐元素四则运算。

21. 矩阵 A_(m,n) 和矩阵 B_(m,1) 进行四则运算，后缘维度轴长度不相符，但其中一方轴长度为1，可以广播，广播沿着轴长度为1的轴进行，即 B_(m,1) 广播成为 B_(m,n)’ ，之后做逐元素四则运算。

22. 矩阵 A_(m,1) 和常数R 进行四则运算，后缘维度轴长度不相符，但其中一方轴长度为1，可以广播，广播沿着缺失维度和轴长度为1的轴进行，缺失维度就是axis=0,轴长度为1的轴是axis=1，即R广播成为 B_(m,1)’ ，之后做逐元素四则运算。
    具体可以参考下图：
    

23. 用numpy的random.randn(5)生成的是数组，shape是（5，），转置之后还是（5，），
    在python中使用*对数组进行运算相当于向量的点积运算，使用np.dot()才是将两个向量相乘。
    

24. shape值为（2，）表示的是一维数组，数组中有两个元素；而shape值为（2，1）表示的是二维数组，每行有1个元素，如果你每次创建一个数组，你都得让它成为一个列向量，产生一个(n,1)向量或者你让它成为一个行向量，那么你的向量的行为可能会更容易被理解，如下图所示，这个时候np.dot(b,b.T)其实就是用到了python的广播机制。
    

25. 不完全确定一个向量的维度(dimension)是，可以扔进一个断言语句(assertion statement)。像这样，去确保在这种情况下是一个(5,1)向量，或者说是一个列向量。
    assert的语法格式为：

`assert expression`

它的等价语句为：

if not expression:raise AssertionError

assert可以用在很多地方，下面是用assert来判断向量维度，当a.shape不是（5，1）的时候，就会抛出AssertionError的异常。也可以用asser来判断数据格式什么的。