Divide Mix

• 关键点1：混合高斯建模，将labeled的样本集和unlabeled的样本集区分开；
• 关键点2：半监督学习；
• 关键点3：独立网络模型；

GMM

• 将一件事物的数学特征用曲线表述出来后再用若干基于高斯（正态分布）概率密度函数行程的模型。
• 找到一个合适的高斯分布，确定高斯分布两个参数，即μ和∑，使得这个高斯分布能够产生本组样本的可能性尽可能大，就形成了拟合样本数据这一说。
• GMM也被称为一种聚类方法，我是对比机器学习算法K-Means去理解的。

GMM	K-Means
先计算所有数据对每个分高斯模型的拟合度，再根据拟合度计算出每个分模型正则化后的参数，迭代	先计算所有点对每个簇心的距离，再根据距离重新划分点的位置，迭代

• GMM在本方法的实现：
  1. 在我们得到一些样本数据时，我们无法确定Noisy Data或者Unlabeled Data，我们在经过feature extraction之后利用混合高斯建模，可以确定某个样本分别属于每一类标签的概率（相当于预分类，我是对原文这样理解的，但是学长的报告里指出GMM的分类是对干净标签和噪声标签分类，待解决…）；
  2. 计算概率分布总和，可以大致得到整个样本集里干净标签样本的比例，方便后续训练；

孪生网络

• 输入数据：对于一对孪生网络，其输入数据为同一样本，但为经过两次数据增强后的；
• 软标签化和Unlabeled Data的预测：对于Unlabeled Data，同时使用两个网络进行预测，即每一次预测可以得到四种输出，将四种输出加权正则化作为网络参数进行反向传播，对于Labeled Data的软标签化，进行组合预测，得到一个修正标签，将输出也要带入反向传播更新；
• 数据混合：没看懂…
• 最终的训练：固定一网络，将上一步的混合完毕的数据输入到另一网络，对于Labeled Data使用Crossentropy损失，对于Unlabeled Data使用MSE损失（文章好像也并未指出为什么要这么做，个人理解可能是因为对于Unlabeled Data使用混合高斯建模的时候得出的概率作为每个分模型的参数进行迭代，这已经算是一个回归问题了）

待解决问题

• [1 ] 网络 net1 和 net2 训练过程中各项损失变化趋势非常相似（还没做到论文复现，所以这个问题待解决）
• [2 ] 在使用GMM进行数据集划分的时候，每一个epoch需要完成的任务是分类加半监督学习？

论文复现

刚刚完成Pencil的论文复现，还需要进一步优化（上ResNet34跑Cifar10）这篇复现可能需要推迟，且本篇中还有许多细节要去扣，接下来的计划是Pencil复现优化以及深入理解本篇。