1 Tensorflow版本问题

Tensorflow分为1.x和2.x, 1.x计算性能更好，2.x对用户更友好。推荐使用1.x

2 Tensorflow构建和训练过程

推荐这个，简洁易懂
https://blog.csdn.net/qq_43024357/article/details/81981895

以下转载于上文。过程是:

# 首先：导入各种你需要的包 tensorflow numpy...
import tensorflow as tf
import model # 导入自己定义的包，这样可以精简代码
# import any pkg if you need
# 构建计算图
# 1.从训练集和测试集中获取mini-batch
Train_Images_Batch,Train_Labels_Batch = input_Data.get_batch(......)
Test_Images_Batch,Test_Labels_Batch = input_Data.get_batch(......)# 2.定义存放mini-batch的占位符
x = tf.placeholder(......)
y_label = tf.placeholder(......)# 3.前向传播计算网络输出(model.py文件中的inference函数定义了我们的网络结构)
y_conv = model.inference(x)# 4.计算实际输出和理论输出之间的均方误差
loss = tf.reduce_mean(tf.square(y_conv - y_label))# 5.利用tensorflow自带的寻优算法来优化网络参数，使得loss最小，1e-4是学习率
train_op = tf.train.AdamOptimizer(1e-4).minimize(loss)# 6.初始化所有的局部和全局变量
init_op = (tf.local_variables_initializer(),tf.global_variables_initializer())# 在会话(Session)中执行创建好的计算图
# 1.打开一个Session
with tf.Session() as sess: 
# 2.变量初始化sess.run(init_op)      # 3.开始训练，每个step取出一个mini-batch作为网络的输入，训练网络
#   每一次训练都会使得网络中可学习参数的值向使得loss更小的方向变化一些
#   这里训练100000步，也就是参数要向使得loss更小的方向调整10000次，最终达到收敛for step in range(100000): # 4.产生这一step输入网络的mini-batchtrain_images_batch,train_labels_batch = sess.run([Train_Images_Batch,Train_Labels_Batch]) # 5.将mini-batch喂给网络入口，x和y_labelsess.run(train_op,feed_dict = {x:train_images_batch,y_label:train_labels_batch})# 6.网络训练结束，现在使用网络。将测试数据输入网络，计算网络输出值，与实际输出对比，评价网络
test_images_batch,test_labels_batch = sess.run([Test_Images_Batch,Test_Labels_Batch])
y_pred = sess.run(y_conv,feed_dict = {x:test_images_batch})

几个关键点：

1.tensorlayer.placeholder：fech运算需要的数据用这个定义好，并且在feed_dict给出。

2.训练的网络不是显式定义的，而是通过最优化损失函数表现的。

tensorflow有一个最优运算符，里面的一个参数是损失运算loss

即，数据集x流过了若干层，最后变成了标签y’, 损失就是真实的标签和预测标签之差

在run的时候只用到了这个最优运算，因此关系是:

run->需要op运算->需要loss运算->需要知道预测和真实之差->需要知道预测结果->定义网络

网络被包含在loss中，loss被包含在最优运算中，最优运算是run的参数

3.训练过程：run

run的第一参数是fetch，我的理解是fetch是若干个运算的列表或者元组。run的时候，将参数喂入，然后执行fetch指定的计算，在神经网络中表现为减小损失的运算。

run返回的是运算的结果。比如run([train_op, loss])，说明首先进行了减小损失的运算，然后进行了计算损失的运算。返回的结果是_,训练损失值

run的第二参数是feed_dict，这是一个元组，必须给出fetch运算所需要的所有参数。运算的所有参数由placeholder在之前定义，比较常见的有: label, data, 这两个是train_op，即减小损失运算需要用到的，还有learning_rate之类的。

3 神经网络构建

作为图像，一般是四维的张量[x,y,z,w]
x是图片张数，y,z是图片长宽，w是图片通道数

PadLayer

tensorlayer.layers中填充层，用在卷积之前，把图片的边缘扩充，和tf.pad相同

参数	说明
prev_layer	神经网络的上一层
padding	型如[[a,b],[c,d].[…,…],…]，必须和张量维度数相同，表示该维度上前后填充行数
mode	可选为CONSTANT，全部填0, REFLECT 最远边界的复制, SYMMETRIC 最近边界的复制,先上下再左右
name	该层名称

比如[x,y,z,w]经过该层[[0,0],[a,b].[c.d],[0,0]]以后，张量的维度变为[x,y+a+b,z+c+d,w]，即长宽被扩展

Conv2d

tensorlayer.layer中的卷积层，计算图像的特征

参数	说明
n_filter	(int) --卷积核数量，输出特征的个数
filter_size	(tuple of int) – 卷积核长宽(height, width).
strides	(tuple of int) – 卷积核移动的步长
dilation_rate	(tuple of int) – Specifying the dilation rate to use for dilated convolution.
act	(activation function) – 激活函数
padding	(str) – The padding algorithm type: “SAME” or “VALID”.
data_format	(str) – “channels_last” (NHWC, default) or “channels_first” (NCHW).
W_init	(initializer) – W的初始化值.
b_init	(initializer or None) – b的初始化值.
in_channels	(int) --输入的通道数.
name	(None or str) – 该层的名称.

卷积层使得图像数据的长宽减小，深度增加，深度变为n_filiter

训练参数为卷积核(w*h+1)*n_filiter

UpSampling2dLayer

上采样层，将图像的长宽进行拉伸，新增加的像素点使用指定方式进行插值

参数	说明
scale	(int/float or tuple of int/float) – (height, width) scale factor.
method	(str) --默认是 ‘bilinear’. ‘bilinear’,中值插值.‘nearest’, 最邻近插值, ‘bicubic’, 三阶插值, ‘area’, 区域插值
antialias	(boolean) – Whether to use an anti-aliasing filter when downsampling an image.
data_format	(str) – channels_last ‘channel_last’ (default) or channels_first.
name	(None or str) --该层名称