神经网络参数优化器

符号及含义

• w：待优化参数
• loss：损失函数
• lr：学习率
• batch：一次迭代数量的多少
• t：当前迭代的总系数

迭代步骤

(1) 计算 t 时刻损失函数关于当前参数的梯度：
$$g_t=▽loss=\frac{dloss}{d(w_t)}$$
(2) 计算 t 时刻一阶动量$m_t$（和梯度相关的函数）和二阶动量$V_t$ （和梯度平方相关的函数）
(3) 计算 t 时刻下降梯度：
$${\eta }_t=l_r\ast m_t/\sqrt{V_t}$$
(4) 计算 t+1 时刻参数：
$$W_{t+1}=W_t-{\eta }_t=W_t-l_r\ast m_t/\sqrt{V_t}$$

常用优化器

• SGD（无momentum）:
  （1）$m_t=g_t$、$V_t=1$
  （2）${\eta }_t=l_r\ast m_t/\sqrt{V_t}=l_r\ast g_t$
  （3）$W_{t+1}=W_t-{\eta }_t\ast m_t/\sqrt{V_t}=W_t-l_r\ast g_t$
  $$W_{t+1}=W_t-l_r\ast \frac{dloss}{d(w_t)}$$
  程序实现如下：

  w1.assign_sub(lr*grads[0])
  b1.assign_sub(lr*grads[1])
  

• SGDM（含monentum的SGD），在SGD的基础上增加一阶动量：
  （1）$m_t=\beta \ast m_{t-1}+(1-\beta )\ast g_t$、$V_t=1$（$\beta$：趋近1的超参数）
  （2）${\eta }_t=l_r\ast m_t/\sqrt{V_t}=l_r\ast m_t=l_r\ast (\beta \ast m_{t-1}+(1-\beta )\ast g_t)$
  （3）$W_{t+1}=W_t-{\eta }_t=W_t-l_r\ast (\beta \ast m_{t-1}+(1-\beta )\ast g_t)$

  程序实现如下：

  m_w,m_b = 0, 0
  beta = 0.9
  m_w = beta*m_w + (1-beta)*grads[0]
  m_b = beta*m_b + (1-beta)*grads[1]
  w1.assign_sub(lr*m_w)
  w2.assign_sub(lr*m_b)
  

• Adagrad，在SGD基础上增加二阶动量：
  （1）$m_t=g_t$、$V_t={\sum }_{\tau =1}^t{g}_{\tau }^2$
  （2）${\eta }_t=l_r\ast m_t/\sqrt{V_t}=l_r\ast g_t/\sqrt{{\sum }_{\tau =1}^t{g}_{\tau }^2}$
  （3）$W_{t+1}=W_t-{\eta }_t=W_t-l_r\ast g_t/(\sqrt{{\sum }_{\tau =1}^t{g}_{\tau }^2})$

  程序实现如下：

  v_w,v_b = 0,0
  v_w += tf.square(grads[0])
  v_b += tf.square(grads[1])
  w1.assign_sub(lr*grades[0]/tf.sqrt(v_w))
  b1.assign_sub(lr*grads[1]/tf.sqrt(v_b))
  

• RMSProp，在SGD基础上增加二阶动量：
  （1）$m_t=g_t$、$V_t=\beta \ast V_{t-1}+(1-\beta )\ast g_t^2$
  （2）${\eta }_t=l_r\ast m_t/\sqrt{V_t}=l_r\ast g_t/(\sqrt{\beta \ast V_{t-1}+(1-\beta )\ast g_t^2})$
  （3）$W_{t+1}=W_t-{\eta }_t=W_t=lr\ast g_t/(\sqrt{\beta \ast V_{t-1}+(1-\beta )\ast g_t^2})$

  程序实现如下：

  v_w,v_b = 0,0
  beta = 0.9
  v_w = beta*v_w+(1-beta)*tf.square(grads[0])
  v_b = beta*v_b+(1-beta)*tf.square(grads[1])
  w1.assign_sub(lr*grads[0]/tf.sqrt(v_w))
  b1.assign_sub(lr*grads[1]/tf.sqrt(v_b))
  

• Adam，结合SGDM一阶动量和RMSProp二阶动量：
  （1）$m_t={\beta }_1\ast m_{t-1}+(1-{\beta }_1)\ast g_t$
  （2）修正一阶动量的偏差：$\widehat{m_t}=\frac{m_t}{1-{\beta }_1^t}$
  （3）$V_t={\beta }_2\ast V_{step-1}+(1-{\beta }_2)\ast g_t^2$
  （4）修正二阶动量的偏差：$\widehat{V_t}=\frac{V_t}{1-{\beta }_2^t}$
  （5）${\eta }_t=l_r\ast \widehat{m_t}/\sqrt{\widehat{V_t}}=l_r\ast \frac{m_t}{1-{\beta }_1^t}/\sqrt{\frac{V_t}{1-{\beta }_2^t}}$
  （6）$W_{t+1}=W_t-{\eta }_t=W_t-l_r\ast \frac{m_t}{1-{\beta }_1^t}/\sqrt{\frac{V_t}{1-{\beta }_2^t}}$

程序实现如下：

m_w,m_b = 0,0
v_w,v_b = 0,0
beta1,beta2 = 0.9,0.999
delta_w,delta_b = 0,0
global_step = 0m_w = betal*m_w + (1 - beta1)*grads[0]
m_b = betal*m_b + (1 - beta1)*grads[1]
v_w = beta2*v_w + (1 - beta2)*tf.square(grads[0])
v_b = beta2*v_b + (1 - beta2)*tf.square(grads[1])m_w_correction = m_v/(1 - tf.pow(betal,int(global_step)))
m_b_correction = m_b/(1 - tf.pow(betal,int(global_step)))
v_w_correction = v_w/(1 - tf.pow(beta2,int(global_step)))
v_b_correction = v_b/(1 - tf.pow(beta2,int(global_step)))w1.assign_sub(l_r*m_w_correction/tf.sqrt(v_w_correction))
b1.assign_sub(l_r*m_b_correction/tf.sqrt(v_b_correction))