focal loss和ohem

公式推导：https://github.com/zimenglan-sysu-512/paper-note/blob/master/focal_loss.pdf

使用的代码：https://github.com/zimenglan-sysu-512/Focal-Loss

 

 

在onestage的网络中，正负样本达到1:1000，这就会出现两个问题：1.样本不平衡   2.负样本主导loss。虽然负样本的loss小(因为大量的负样本是easy example，大量负样本是准确率很高的第0类)，但个数众多，加起来的loss甚至大于了正样本的loss

 

focal loss先解决了样本不平衡的问题，即在CE上加权重，当class为1的时候，乘以权重alpha，当class为0的时候，乘以权重1-alpha，这是最基本的解决样本不平衡的方法，也就是在loss计算时乘以权重。注意下面的图：alpha下面有个坐标t，也就是说alpha针对不同类别，值并不一样

尝试了样本不平衡改变权重后，paper就给出了focal loss的公式，实际上就是在CE前加了一个(1-pt)的gama次方，也就是说，如果你的准确率越高，gama次方的值越小，整个loss的值也就越小。也就是说，gama次方就是用来衰减的，准确率越高的样本衰减越多，越低的衰减的越少，这样整个loss就是由准确率较低的样本主导了。对于onestage的网络，loss由负样本主导，但这些负样本大多是准确率很高的，经过focal loss后就变成了正负样本共同主导，或者说是概率低的主导。这一点和ohem很像，ohem是让loss大的进行训练。

最后总的公式是两者结合：

知乎上有人说：

OHEM是只取3:1的负样本去计算loss，之外的负样本权重置零，而focal loss取了所有负样本，根据难度给了不同的权重。
focal loss相比OHEM的提升点在于，3:1的比例比较粗暴，那些有些难度的负样本可能游离于3:1之外。之前实验中曾经调整过OHEM这个比例，发现是有好处的，现在可以试试focal loss了。

3:1是负样本比上正样本