深度学习基础

1.什么是深度学习

深度学习是机器学习的一部分，机器学习是人工智能的一部分。关系可用下图表示：

机器学习：在预先定义好的的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。

深度学习：是机器学习的分支，利用层来从数据中学习表示。（学习数据表示的多级方法）所谓深度是指模型结构包含多层神经网络，这些层的参数都能从数据中自动学习。

深度学习就是通过一些简单的数据变换（层）来得到输入到目标的映射，这些数据变换就是通过学习示例来得到的。具体的如何得到的，下面将进行介绍：

首先神经网络将那些对输入数据所做的具体操作保存在层的权重中，这些权重本质就是一串数字，权重有时就被称为该层的参数。学习的目的就是能得到神经网络层的参数，来使输入数据和目标一一对应。

为了使输入经过变换的得到的输出与预期输出更为贴近，这时就要用到损失函数，损失函数也叫目标函数，损失函数的输入是模型预测值和真实目标值，将这两个算一个距离，使其最小化来通过优化参数不断使预测值接近真实值。

如何使损失函数减小，减小预测值和目标值之间的距离，就要用到优化器（优化函数）。优化函数就是利用这个距离值作为反馈信号对权重值进行微调来减少损失值。

一般先将权重值随机赋值，这时候和目标值相去甚远，随着处理的示例不断增加，权重值在不断地向正确的方向微调，使得损失值不断减小。通过一轮一轮的训练使得损失值降到最小，这时的参数就会比较合适，模型也就训练好了。

2.神经网络数学基础

神经网络的数据表示

数据存储在多维numpy数组中，也叫张量。什么是张量那？张量就是数据容器，它包含的数据都是数值。比如矩阵就是二维张量，张量就是矩阵的任意维度的扩展。张量按照维度分，张量的维度叫轴。

1. 标量（0D张量）。只有一个float32/64的数字。0个轴，0D张量。如下所示：

   

2. 向量（1D张量）。一行数字。一维向量只有一个轴。

   

   这个numpy数组，只有一个轴，一个轴有5个数字，也叫5D向量。这里不要将5D张量搞混了。5D张量是指拥有五个轴。

3. 矩阵（2D张量）。矩阵有两个轴（通常叫做行和列）。第一个轴上的元素叫行，第二个轴上的元素叫做列。

所有的行叫一个轴，所有的列叫一个轴。5 6 7是第一列。

4. 3D张量以及更高维的向量。将多个矩阵合并成一个数组就可以叫做3D张量

张量的关键属性

• 轴的个数。标量0个轴，矩阵两个轴
• 形状，是一个整数元组。表示张量沿每个轴的维度（元素个数）。比如矩阵的形状为（3,5）表示这是一个3*5的矩阵。每行有三个元素，每列有五个元素。
• 数据类型。张量所包含的数据类型。包括数值或者字符串类型。

现实世界的数据张量

1. 向量数据：2D张量，形状为（sample，feature）

   第一个轴为样本轴，第二个轴为特征轴。举两个例子：

   • 人口例子。有1000个人，每个人都有三个特征，体重，身高，年龄。那么这就可以存在形状为（1000,3）的1000*3的矩阵张量中。（这里要区别向量张量和向量数据）
   • 文档字典例子。我们统计每个文档中常见词的个数。有500个文档，字典常见词为20000。我们就可以将这些数据存储在一个（500,20000）的2D张量中。

2. 时间序列数据：3D张量，形状为（sample，timesteps，feature）

   第一个为样本轴，第二个为时间序列轴（索引值为1），第三个为特征轴。

   先找的是序列（第二个轴）和特征（第三个轴）之间的关系，在与样本（第一个轴）相联系。举两个例子：

   • 时间序列股市例子。每一分钟最重要的三个特征。前一分钟的最高价格，前一分钟的最低价格。当前价格。股市一天开市390分钟。要记录250天的股市数据。那么就可以先考虑时间序列和特征之间可以构成一个2D张量（向量数据）（390,3）。而250天的数据就可以保存在（250,390,3）的3D张量中。

   • 推文数据集。推文由280个字符组成的序列构成。每个字符又包含120个字符组成的字母表。这样就可以用one-shot的方式来表示280个字符。组成一个（280,120）的2D张量（280*120的矩阵，有这个字符为1，其他位置为0的形式），将100万条推文的数据存储为（100万，280,120）的3D张量。

     

3. 图像数据：4D张量，形状为（samples,height,width,channels）

   第一个为样本轴，第二个为高度轴，第三个为宽度轴，第四个为颜色通道轴（3或者1，1为灰度图像）。

   500张大小为256*256的图像，3个颜色通道可以表示为（500,256,256,3）4D张量。

   

4. 视频数据：5D张量，形状为（samples,frames,height,width,channels）

   第二个为帧数轴

   一个以每秒 4 帧采样的 60 秒 YouTube 视频片段，视频尺寸为 144×256，这个
   视频共有4*60= 240 帧。4 个这样的视频片段组成的批量将保存在形状为 (4, 240, 144, 256, 3)
   的张量中

梯度优化

求导

反向传播算法

3.神经网络入门

几类深度学习框架介绍

如何搭建自己的深度学习工作站

4.机器学习基础

4.1机器学习的三个分支

1. 监督学习

   监督学习在机器学习中最为常见，监督学习是在给定的样本上将输入数据映射到已知目标上。监督学习主要包含分类和回归两种。但也有很多变种。比如

   • 序列生成。给定一张图像，预测描述图像的文字。序列生成也可以被看作多分类问题，比如反复预测序列中的单词或者标记。
   • 语法树预测。已知一个句子，预测其分解生成的语法树。
   • 目标检测。给定一个图像，将图像中目标的周围用方框标记起来。
   • 图像分割，给定一个图像，将图像中的目标与周围分割开来。

2. 无监督学习

   无监督学习是在给定的输入数据没有标签的情况下寻找其中的关系。无监督学习主要用在数据分析中，比如：数据可视化，数据压缩，数据去噪，寻找数据之间的相关性。无监督学习典型的方法包括聚类，降维。

3. 强化学习

   强化学习

4.2评估机器学习模型

一般将数据分为训练集，验证集，测试集，这样就有利于评估模型的泛化能力。机器学习的目的就是为了得到有泛化能力的模型，防止过拟合的模型。下面的内容将介绍如何得到具有泛化能力的模型，减少过拟合。

训练集，验证集，测试集

训练集用来训练模型，验证集用来评估模型，确定了参数后再用测试集测试一次。

验证集的主要作用就是为了能在最终确定模型前，评估模型调节模型的超参数，比如神经网络的层数，层的大小等等。再利用验证集进行调超参时，不能反复使用验证集多次进行调参，这样会造成信息泄露，造成模型过拟合。、

下面介绍几种经典的评估方法：

1. 简单的留出法

   将数据分为训练集，测试集，再将训练集按照比例分为训练集和验证集。

   

   在划分前一定要随机打乱数据。

2. k折验证

   将数据划分为k份，留一份进行验证，k-1份进行训练，进行单独的k次循环，将最后k次的分数进行平均得到。

3. 打乱数据的k折验证

   进行多次的k折验证，在每次k折验证前都需要打乱数据。这种方法要评估p*k个模型（p为重复次数）。

评估模型的注意事项

• 数据的代表性。数据划分的每一个批量都要包含全种类数据，比如如果是分类数据十个分类，选取了前80%作为训练数据，那么只有前8个分类数据进行了训练，其他都未训练，会造成欠拟合。所以要划分前随机打乱数据。
• 时间序列。如果是包含时间序列关系的数据是不能随机打乱的。否则会造成时间泄露——你的模型得到了未来时间数据的训练。所以要确保所有的验证，测试数据集要晚于训练的数据集。
• 数据冗余。如果某个数据出现多次，如果在打乱后分别出现在了验证集和训练集，那么就会造成两个集之间的冗余。所以一定要保证验证集和训练集之间无交集。

4.3 过拟合和欠拟合

机器学习的根本问题在于优化和泛化的对立。优化是指调节模型以在训练数据上取得最佳的性能。泛化是指训练好的模型在前所未有的数据上的性能好坏。

在训练开始时，优化和泛化是相关的，训练数据的损失越小，测试数据的损失也越小。这时就是欠拟合。

当到了一定的训练轮次后，泛化能力不在增加，而验证集的表现先是不变，而后变差，这就是过拟合。

为了降低过拟合的程度，最优的方法就是增加训练的数据。除此之外就是利用正则化的方法。下面介绍几种正则化的方法。

1. 减小模型的复杂度

2. 在损失函数后面添加正则化项，分为L1，L2正则化项。

3. 添加dropout正则化