学习率的选择与切换：

1. 初期Adam,后期SGD，切换方法参考：Improving Generalization Performance by Switching from Adam to SGD
2. 首先来看第1个问题，切换之后用什么样的学习率。
   Adam的下降方向是
   $n^{Adam}_t = (\alpha/\sqrt{V_t})*m_t$
   而SGD的下降方向是.
   $n^{SGD}_t = \alpha^{SGD}\cdot g_t$
   , $n^{SGD}_t$必定可以分解为 $n^{Adam}_t$ 所在方向及其正交方向上的两个方向之和，那么其在 $n^{Adam}_t$ 方向上的投影就意味着SGD在Adam算法决定的下降方向上前进的距离，而在 $n^{Adam}_t$ 的正交方向上的投影是 SGD 在自己选择的修正方向上前进的距离。
   

图片来自原文，这里p为Adam下降方向，g为梯度方向，r为SGD的学习率。如果SGD要走完Adam未走完的路，那就首先要接过Adam的大旗——沿着 $n^{Adam}_t$ 方向走一步，而后在沿着其正交方向走相应的一步。这样我们就知道该如何确定SGD的步长（学习率）了——SGD在Adam下降方向上的正交投影，应该正好等于Adam的下降方向（含步长）。也即：
$proj_{n^{SGD}_t} =n^{Adam}_t$
解这个方程，我们就可以得到接续进行SGD的学习率：
$\alpha_t^{SGD}=((n_t^{Adam})^Tn_t^{Adam})/((n_t^{Adam})^Tg_t)$为了减少噪声影响，作者使用移动平均值来修正对学习率的估计：
$\lambda_t^{SGD}=\beta_2\cdot\lambda_{t-1}^{SGD}+(1-\beta_2)\alpha_t^{SGD}$
$\tilde{\lambda}^{SGD}_t =\lambda_t^{SGD}/(1-\beta_2^t)$这里直接复用了Adam的 $\beta_2$参数。然后来看第一个问题，何时进行算法的切换。作者的回答也很简单，那就是当 SGD的相应学习率的移动平均值基本不变的时候，即： $|\tilde{\lambda}^{SGD}_t-\alpha_t^{SGD}|<\epsilon$
每次迭代玩都计算一下SGD接班人的相应学习率，如果发现基本稳定了，那就SGD以 $\tilde{\lambda}^{SGD}_t$ 为学习率接班前进。

其他小技巧

1. 先用小数据集进行实验。
2. 数据集一定要充分的打散（shuffle）。 这样在使用自适应学习率算法的时候，可以避免某些特征集中出现，而导致的有时学习过度、有时学习不足，使得下降方向出现偏差的问题。