对贝叶斯平滑的理解

假设现在要对每个广告求历史ctr(求贝叶斯平滑后的值)。

贝叶斯平滑就是对广告的CTR进行贝叶斯估计（最小化损失函数在后验分布上的期望）。

• N个广告，其点击信息和曝光信息分别是$(C_1, C_2, ..., C_i, ..., C_N), (I_1, I_2, ..., I_i, ..., I_N)$。

• 每个广告都有一个隐含的CTR值$(r_1, r_2, ..., r_i, ..., r_N)$。这些隐含的CTR值服从$Beta(\alpha, \beta)$【先验】。

• 每个广告的点击信息都是服从二项分布$Binomial(I_i, r_i)$【似然】。

• 二项分布和Beta分布是共轭的，所以广告CTR的后验分布也是Beta分布，记为$Beta(\alpha^{'}, \beta^{'})$。

• 当使用平方损失函数$L(\hat{r_i}, r_i) = (\hat{r_i} - r_i)^2$时，贝叶斯估计值就是后验分布的期望值。所以可以求出第$i$个广告的ctr的贝叶斯估计值为$\hat{r_i} = \frac{C_i + \alpha}{I_i + \alpha + \beta}$。这就是贝叶斯平滑后的值。

• 也就是说，将先验分布中的参数$\alpha, \beta$求出来，就得到了贝叶斯平滑中的平滑因子。

• 可以使用矩估计法来求参数$\alpha、\beta$，

  • Beta分布的期望：$E(X)=\frac{\alpha}{\alpha+\beta}$；用样本均值$\overline{X}$来代替期望

  • Beta分布的方差：$D(X)=\frac{\alpha \beta}{(\alpha+\beta)^{2}+(\alpha+\beta+1)}$；用样本方差$S^2$来近似代替方差

  • 可以求得：$\alpha=\overline{X}\left(\frac{\overline{X}(1-\overline{X})}{S^{2}}-1\right)$

    ​ $\beta=(1-\overline{X})\left(\frac{\overline{X}(1-\overline{X})}{S^{2}}-1\right)$