1，为什么要做卷积操作  

    参数少一点，效果也很好，速度快，容易收敛。像下面这个图按10*10卷积后大小变成100*100，需要100个达到1M隐层，只需10M

的parameters

7，卷积方法
def conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format="NHWC", name=None):input：输入的tensor对象，会对该值进行卷积操作。默认形状为：[batch_size, height, width, channels]， batch_size表示一个批次中的样本数目，height表示一个feature map的高度，width表示一个feature map的宽度，channels表示一个图像的feature map的数量。一般简写为NHWC。当data_format的格式为NHWC的时候，使用默认的形状，如果给给data_format给定位NCHW，那么input的格式为:[batch_size, channels, height, width]filter: 卷积核Tensor对象(w)，格式要求是一个4维的Tensor对象(一般为变量), 格式为: [height, width, in_channels, out_channels]，height和width表示窗口的高度宽度，in_channels就是输入对象的通道数目，out_channels给定当前卷积之后的通道数目，也就是我们理论中所说的卷积核的数目。strides: 给定卷积窗口的滑动步长，格式和data_format有关，是一个数组。格式: [batch, in_height, in_width, in_channels]或者[batch, in_channels, in_height, in_width], 其中batch和in_channels必须为1，in_height和in_width分别给定在高度和宽度上的滑动窗口大小。padding：是否进行数据的填充操作，可选值：SAME表示进行最小填充，VALID表示不进行填充，直接删除多余的像素值。TensorFlow中有一个特征的值，当步长为1，padding为SAME的时候，卷积是不改变的feature map大小的。data_format：给定数据格式是NHWC还是NCHW，默认是NHWC

2，卷积核

28*28大小的feature map 有1024个神经元。1个feature map，1024个神经元。 每个神经元提取一个高阶特征

卷积核有大小，输入通道(channel),和输出通道数目(输出channel)

一个卷积核对应一个输出通道。卷积可以增加输出层次，用多个卷积核即可得到多个输出，比如vgg。1*1的卷积相当于合并所有输出featuremap 通道上对应位置的特征值。卷积就是各个通道的信息融合，做的是区域级的特征融合。

3，局部感知

      基于人脑的图片识别过程,我们可以认为图像的空间联系也是局部的像素联系比较紧密，而较远的像素相关性比较弱。所以每个神经元没有必要对全局图像进行感知,只要对局部进行感知,而在更高层次对局部的信息进行综合操作得出全局信息

4，神经网络参数

a,一般设置为均值为0，方差为2/n，n为权重数量，的高斯分布随机数列

b,归一化

5，BN理解

求均值，方差，归一化，e(epushion)防止标准差为0的情况，做一个保护，最后阿尔法和beta做一个缩放和移位

6，BN算法

BN一种方法时用tf.layers包下面的方法。一种是用tf.nn包的方法，如下面代码所示

n1 = tf.layers.batch_normalization(n1, training=is_training)

def batch_normalization(net, shape, is_training, moving_decay=0.9, eps=1e-8):with tf.variable_scope("BN"):# 缩放参数、平移参数y=gamma * x + betagamma = tf.get_variable('gamma', shape=shape[-1],initializer=tf.constant_initializer(1))beta = tf.get_variable('beta', shape=shape[-1],initializer=tf.constant_initializer(0))# 计算当前批次的均值和标准差batch_mean, batch_variance = tf.nn.moments(net, axes=(0, 1, 2), keep_dims=True)# 采用滑动平均计算训练阶段中各个批次的的均值和方差的累加值# vmean = mean * decay + (1-decay) * batch_mean# variance = variance * decay + (1-decay) * batch_arianceema = tf.train.ExponentialMovingAverage(decay=moving_decay)# 获取均值和方差def mean_and_variance_update():# apply就是触发更新操作ema_apply_op = ema.apply([batch_mean, batch_variance])with tf.control_dependencies([ema_apply_op]):# copy一份返回return tf.identity(batch_mean), tf.identity(batch_variance)mean, variance = tf.cond(is_training, mean_and_variance_update,lambda: (ema.average(batch_mean), ema.average(batch_variance)))# 执行批归一化操作return tf.nn.batch_normalization(net, mean, variance,offset=beta, scale=gamma, variance_epsilon=eps)

8，BN,LN,IN,GN

BN同一批次的所有样本拥有相同的方差和均值

LN 同层神经元输入拥有相同的均值和方差，针对一个样本计算均值和方差

IN 针对每个batch中的数据进行归一化操作。一个样本一个通道计算

GN 相较于BN,批次更小

在CNN中做BN的时候不是以神经元为单位，而是以feature map作为单位的。也就是针对一个批次中(一 个channel)的所有feature map计算一对参数γ、β。这样可以减 少模型参数的数目。

8，过拟合问题

通过加入L2正则和dropout

dropout加载FC1层和FC2层之间

l2_loss加在loss后面，重新赋值loss

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=logits))
# 获取所有参与模型训练的模型参数(也就是说这些参数会参与优化器的参数更新操作)
trainable_variables = tf.trainable_variables()
l2_loss = tf.constant(0.0, dtype=tf.float32, shape=[])
for variable in trainable_variables:l2_loss += tf.nn.l2_loss(variable)loss += regularization_rate * l2_loss

5，模型训练,构建优化器

Adam在深度学习模型中用来替代随机梯度下降

optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)  对应参数，自适应学习率

initializer=tf.random_normal_initializer(0, 0.001)会有比较好的收敛

admin算法：https://www.sohu.com/a/156495506_465975

6，学习率衰减

一种是使用tf.train里面的方法，有很多种类型的衰减

tf.train.polynomial_decay 多项式衰减

def fetch_learning_rate(base_learning_rate, step, step_size=100, gamma=0.9):"""做一个学习率的衰减:param base_learning_rate::param step::param step_size::param gamma::return:"""return base_learning_rate * gamma ** np.floor(step // step_size)

def f3():num_epoch = tf.Variable(0, name='epoch', trainable=False)assign_op = tf.assign_add(num_epoch, 1)base_learning_rate = 0.1decay_steps = 10with tf.control_dependencies([assign_op]):# decayed_learning_rate = learning_rate * exp(-decay_rate * global_step / decay_steps)# learning_rate：初始学习率# global_step：当前的训练批次# decay_steps：衰减周期(每隔多少批次衰减一次)# decay_rate: 衰减率系数# staircase:是否做阶梯型的衰减还是连续衰减，默认False为连续衰减learning_rate1 = tf.train.natural_exp_decay(learning_rate=base_learning_rate,global_step=num_epoch,decay_steps=decay_steps,decay_rate=0.9,staircase=False)learning_rate2 = tf.train.natural_exp_decay(learning_rate=base_learning_rate,global_step=num_epoch,decay_steps=decay_steps,decay_rate=0.9,staircase=True)N = 100y1 = []y2 = []with tf.Session() as sess:sess.run(tf.global_variables_initializer())for epoch in range(N):lr1, lr2 = sess.run([learning_rate1, learning_rate2])y1.append(lr1)y2.append(lr2)plt.plot(y1, 'r-')plt.plot(y2, 'g-')plt.show()

7，数据增强的集中方式

水平翻转；随机裁剪；fancy PCA ；增加小众数据；其他平移，旋转，模糊处理，颜色饱和度亮度等处理

8,几种经典卷积神经网络

LeNet-5:

关键学习点，C3层卷积的变种

最终输出的16个fetaure map中，对应的前六个卷积核是和s2中输出的六个feature map中的任意3个feature map做卷积， 中间九个卷积核是和s2中输出的六个feature map中的任意4个feature map做卷积，最后一个卷积核是和六个feature map做卷积

AlexNet

引入局部相应归一化（通过公式可得出，抑制反馈较小的神经元）

对局部神经元的活动创建了竞争机制,使得其中响应比较大的值变得相对更大, 并抑制其它反馈较小的神经元,增强了模型的泛化能力。本质上,LRN是仿造生物学上活跃 的神经元对于相邻神经元的抑制现象(侧抑制)。

ZFNet

基于AlexNet，修改窗口大小，使用Relu激活函数和交叉熵损失函数

VGGNet

引入重复卷积

GoogleNet

引入NIN思想，Network-in-Network，用全连接的多层感知机去代替传统的卷积过程。

引入Inception结构，改变CNN串行结构，改成并行。使用平均池化代替FC层，参数量仅为AlexNet的1/12,用softmax获取平均结果，性能比AlexNet好

而1*1是做的像素级的特征融合，1*1不改变featruemap 大小的，改变通道数的数目，升维或降维。3*3步长为1的卷积也可不改变大小，填充即可

ResNet

引入残差结构，使用shortcut connection，保留了原始数据的特征。resnet主要缓解vgg模型退化问题，vgg在很深的模型上学到的东西太抽象，

DenseNet

在ResNet的基础上，连接更加密集。能缓解梯度消失问题，极大的减少参数量

SeNet

特征压缩。两个fc层，一个降维，一个升维。全连接降维，x=n*c  w=c*c/r  ,相乘及得到n*c/r，实现了降维，

Residual Attention Networks

基于下采样-上采样的机制, 将特征权重加入到特征图中。

MobileNet

引入depthwise separable convolutions(纵向可分离卷积)，分解为深度卷积和点卷积。主要降低参数量和计算量。

relu6的理解。relu是在(x,0)之间取最大值max（x，0），relu6是在max(x,0)和6之间取最小值 min(max(x,0),6)

左边传统卷积；右边深度卷积，再做点卷积，用来做通道间的信息融合。

ShuffleNet

在做group convolution之前，先做一个channel的shuffle操作，以保障信息的表达能力

9，为什么输入数据需要归一化（Normalized Data）？

   归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数据都要做一个归一化预处理的原因。

   对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。

10，rbf

from scipy.linalg import norm, pinvdef _basisfunc(self, c, d):return np.exp(-self.beta * norm(c - d) ** 2)# 计算权重(pinv API：计算矩阵的逆) ==> Y=GW ==> W = G^-1Y
self.W = np.dot(pinv(G), Y)centers = tf.get_variable(name='centers', shape=[rbf_hidden_units, 784], dtype=tf.float32)
gamma = tf.get_variable(name='gamma', shape=[rbf_hidden_units], dtype=tf.float32)# 进行运行
# 0. RBF系数计算
gamma2 = 2.0 * tf.square(gamma)
# a. 将input_x转换为[None,1,784]的形状，数据不变
x = tf.expand_dims(input_x, axis=1)
# b. 将x进行数据的重复操作，因为每个样本都需要计算到所有中心点的距离
x = tf.tile(x, [1, rbf_hidden_units, 1])
# c. 计算所有样本到所有中心点的距离
dist = tf.reduce_sum(tf.square(x - centers), axis=2)
# d. 做一个sigma的转换
dist = -dist / gamma2
# c. 做一个exp指数转换，得到rbf的输出
rbf_output = tf.exp(dist)

10，初始化器

with tf.variable_scope('net', initializer=tf.random_normal_initializer(0.0, 0.001)):# 在variable_scope中如果给定了initializer初始化器，那么在使用tf.get_variable来构建变量的时        候，如果没有给定初始化器，那么使用variable_scope中定义的初始化器

11，训练好的模型mat下载

https://www.vlfeat.org/matconvnet/pretrained/