求梯度

梯度带tf.GradientTape()

TensorFlow2.0求梯度默认是eager模式，每行代码顺序执行，没有了构建图的过程（也取消了control_dependency的用法），要一个上下文管理器（context manager）来连接需要计算梯度的函数和变量，方便求解同时也提升效率。

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tfx = tf.ones((2,2)) #tf.Tensor([[1. 1.] [1. 1.]], shape=(2, 2), dtype=float32)
with tf.GradientTape(persistent=True) as t:t.watch(x) # 确保tensor被tape追踪y = tf.reduce_sum(x) # 降维度求和 y=x11+x12+x21+x22z = tf.multiply(y,y) # z=y*y
# 计算z关于x的梯度
dz_dy = t.gradient(z, y) #dz/dy=2y
dz_dx = t.gradient(z, x) #dz/dx=dz/dy * dy/dx = 2y * ([[d(x11+x12+x21+x22)/dx11 d(x11+x12+x21+x22)/dx12] [d(x11+x12+x21+x22)/dx21 d(x11+x12+x21+x22)/dx22]])
print(dz_dy) # tf.Tensor(8.0, shape=(), dtype=float32)
print(dz_dx) #tf.Tensor([[8. 8.] [8. 8.]], shape=(2, 2), dtype=float32)

• 默认情况下GradientTape的资源会在执行tf.GradientTape()后被释放。如果想多次计算梯度，需要创建一个持久的GradientTape: with tf.GradientTape(persistent=True) as t
• 函数gradient( target, sources, output_gradients=None, unconnected_gradients = tf.UnconnectedGradients.NONE)
  • target： 被微分的Tensor或者Tensor列表, 要求导数的f
  • source： Tensors 或者Variables列表（当然可以只有一个值）.比如f=2x+y, 这个source可以选择 偏x或者偏y

求高阶倒数

GradientTape上下文管理器在计算梯度的同时也会保持梯度，所以GradientTape也可以实现高阶梯度计算

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tfx = tf.Variable(1.0)#一定要是变量，不能是constant
with tf.GradientTape() as t:with tf.GradientTape() as tt:tt.watch(x)y = x*x*xdy_dx = tt.gradient(y, x)print(dy_dx) #tf.Tensor(3.0, shape=(), dtype=float32)
t.watch(dy_dx)    
# 计算y关于x的梯度的二阶倒数
dy2_d2x = t.gradient(dy_dx, x)
print(dy2_d2x) # tf.Tensor(6.0, shape=(), dtype=float32)

求控制流

def f(x, y):output = 2.0# 根据y的循环for i in range(y):# 根据每一项进行判断if i> 1 and i<5:output = tf.multiply(output, x)return output # y=2，output=2*x;y=3，output=2*x*x;y=4，output=2*x*x;y>=5，output=2*x*x*x;def grad(x, y):with tf.GradientTape() as t:t.watch(x)out = f(x, y)# 返回梯度return t.gradient(out, x)
# x为固定值
x = tf.convert_to_tensor(2.0)print(grad(x, 6)) # 6*x*x=24,tf.Tensor(24.0, shape=(), dtype=float32)
print(grad(x, 5)) # 6*x*x=24,tf.Tensor(24.0, shape=(), dtype=float32)
print(grad(x, 4)) # 4*x = 8,tf.Tensor(8.0, shape=(), dtype=float32)