1 过拟合及其解决方案

机器学习中一个模型能够提供的信息一般来自于两个方面：

• 训练数据中隐含的信息；
• 模型训练过程中提供的先验信息。

当训练数据不足时，来自于训练数据的隐含信息数量不足，就需要更多的先验信息才能保证模型的效果。先验信息可以作用在模型上，例如让模型采用特定的内部结构、条件假设或添加一些约束条件。先验信息也可以作用在数据集上，即根据特定的先验假设去调整、变换或扩展训练数据，让其展现出更多更有用的信息，以便于后续模型的训练或学习。

在图像分类任务上，训练数据不足容易造成模型的过拟合。过拟合表现为模型对训练数据的分类效果非常好，但对测试样本的分类效果则欠佳。

解决过拟合问题有两种思路，第一种思路是基于模型的方法，第二种思路是进行数据增广以扩充训练数据集的规模。

基于模型的方法：

• 模型简化，降低模型的表述能力；
• 添加正则化项，如L2正则化项得到比较均匀的较小值，L1正则化项得到比较稀疏的解；
• 使用dropout；
• 集成学习。

基于数据的方法，即数据增广：

• 图像的几何变换，如随机旋转、缩放、平移、裁剪、镜像，相当于从不同的角度去观察同一目标的结果；
• 添加噪声，如椒盐噪声、高斯白噪声；
• 使用PCA Jittering对图像进行颜色变换；
• 改变图像的亮度、对比度、饱和度和锐度等；
• 通过生成学习得到模拟的训练图像。

2 图像增广

2.1 几何变换

这部分的代码使用pytorch进行实现，更多函数请参考https://blog.csdn.net/ys1305/article/details/94332240

2.1.1 随机旋转

	#originInput =  Image.open('timg.jpg')#rotaterotater = torchvision.transforms.RandomRotation(90)Image_rotate = rotater(Input)Image_rotate.show("rotater")

2.1.2 随机裁剪

	#originInput =  Image.open('timg.jpg')#cropcropper = torchvision.transforms.RandomCrop((200,200))Image_crop = cropper(Input)Image_crop.show()

2.1.3 随机缩放

	#originInput =  Image.open('timg.jpg')#resizenew_size = [len*2 for len in Input.size]resizer = torchvision.transforms.Resize(tuple(new_size))Image_reize = resizer(Input)Image_reize.show()

2.1.4 随机翻转

	#originInput =  Image.open('timg.jpg')#flipfliper = torchvision.transforms.RandomHorizontalFlip()Image_flip = fliper(Input)Image_flip.show()

2.2 添加噪声

	from skimage import util#add noiseInputImage = cv2.imread("timg.jpg")noiserImage = util.random_noise(InputImage,'salt',None,False)cv2.imshow("noise_image",noiserImage)cv2.waitKey()

random_noise函数支持的噪声类型有：

		- 'gaussian'  Gaussian-distributed additive noise.- 'localvar'  Gaussian-distributed additive noise, with specifiedlocal variance at each point of `image`.- 'poisson'   Poisson-distributed noise generated from the data.- 'salt'      Replaces random pixels with 1.- 'pepper'    Replaces random pixels with 0 (for unsigned images) or-1 (for signed images).- 's&p'       Replaces random pixels with either 1 or `low_val`, where`low_val` is 0 for unsigned images or -1 for signedimages.- 'speckle'   Multiplicative noise using out = image + n*image, wheren is uniform noise with specified mean & variance.

2.3 PCA Jittering

实现原理：PCA Jittering是对图像的RGB通道分别添加一个值进行颜色变换。添加的值来自于对图像像素值的PCA处理。其实现过程为，将图像的每一个像素点看成一个样本，将每一个通道看成是一维特征，计算得到3 * 3的协方差矩阵，计算该矩阵的特征值$\lambda_1,\lambda_2,\lambda_3$和特征向量$p_1,p_2,p_3$，然后在每一个像素点的三个通道上添加增量$[p_1,p_2,p_3]*[\alpha_1\lambda_1,\alpha_2\lambda_2,\alpha_3\lambda_3]^T$，其中$\alpha_1,\alpha_12,\alpha_3$是均值为0、方差较小的高斯分布的随机值。

代码参考自：https://blog.csdn.net/yx868yx/article/details/105544479

import os
import numpy as np
import matplotlib.pyplot as plt
import randomdef PCA_Jittering(path):  img_list = os.listdir(path)  img_num = len(img_list)  for i in range(img_num):  if not img_list[i].endswith('.jpg'):continueimg_path = os.path.join(path, img_list[i])  #img = Image.open(img_path)  #plt.imshow(img)  #plt.show()img = cv2.imread(img_path)cv2.imshow("orig",img) #img = np.asanyarray(img, dtype = 'float32')  img = img / 255.0  img_size = int(img.size / 3 )print(img.size)img1 = img.reshape(img_size, 3)  img1 = np.transpose(img1)  img_cov = np.cov([img1[0], img1[1], img1[2]])  lamda, p = np.linalg.eig(img_cov)  #计算矩阵特征向量p = np.transpose(p)  alpha1 = random.normalvariate(0,1)  #生成正态分布的随机数alpha2 = random.normalvariate(0,0.5)  alpha3 = random.normalvariate(0,2)  v = np.transpose((alpha1*lamda[0], alpha2*lamda[1], alpha3*lamda[2])) #加入扰动  add_num = np.dot(p,v)  img2 = np.array([img[:,:,0]+add_num[0], img[:,:,1]+add_num[1], img[:,:,2]+add_num[2]])  img2 = np.swapaxes(img2,0,2)  img2 = np.swapaxes(img2,0,1)  save_name = 'pre'+str(i)+'.png'  save_path = os.path.join(path, save_name)  
#         misc.imsave(save_path,img2)  

2.4 改变图像的亮度、对比度、锐度和饱和度

调整饱和度：

	from PIL import Image,ImageEnhance#originInput =  Image.open('timg.jpg')random_factor = np.random.randint(0, 31) / 10.  # 随机因子color_image = ImageEnhance.Color(Input).enhance(random_factor)  # 调整图像的饱和度color_image.show()

调整亮度：

	from PIL import Image,ImageEnhance#originInput =  Image.open('timg.jpg')random_factor = np.random.randint(10, 21) / 10.  # 随机因子brightness_image = ImageEnhance.Brightness(Input).enhance(random_factor)  # 调整图像的亮度brightness_image.show()

调整对比度：

	from PIL import Image,ImageEnhance#originInput =  Image.open('timg.jpg')random_factor = np.random.randint(10, 21) / 10.  # 随机因子contrast_image = ImageEnhance.Contrast(Input).enhance(random_factor)  # 调整图像对比度contrast_image.show()

调整锐度：

	from PIL import Image,ImageEnhance#originInput =  Image.open('timg.jpg')random_factor = np.random.randint(0, 31) / 10.  # 随机因子sharp_image = ImageEnhance.Sharpness(Input).enhance(random_factor)  # 调整图像锐度sharp_image.show()