###梯度下降算法实现

# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
'''梯度下降法的代码实现'''
'''准备训练数据'''
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]#猜测初始的权重
w = 1.0'''定义模型'''
def forward(x):return x * w'''定义cost函数，计算MSE'''
def cost(xs, ys):cost = 0for x, y in zip(xs, ys):y_pred = forward(x)cost += (y_pred - y) ** 2return cost / len(xs)'''计算梯度'''
def gradients(xs, ys):grad = 0for x, y in zip(xs, ys):grad += 2 * x * (x * w - y)return grad / len(xs)epoch_list = []
cost_list = []
print('predict (before training)', 4, forward(4))
'''训练过程'''
for epoch in range(100):cost_val = cost(x_data, y_data)grad_val = gradients(x_data, y_data)w -= 0.01 * grad_val # 学习率设置为0.01print('epoch:', epoch, 'w=', w, 'loss=', cost_val)epoch_list.append(epoch)cost_list.append(cost_val)print('predict (after training)', 4, forward(4))
plt.plot(epoch_list, cost_list)
plt.xlabel('epoch')
plt.ylabel('cost')
plt.show()

###随机梯度下降算法实现

# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
'''
随机梯度下降法的代码实现
随机梯度下降法在神经网络中被证明是有效的。效率较低(时间复杂度较高)，学习性能较好。
随机梯度下降法和梯度下降法的主要区别在于：
1、损失函数由cost()更改为loss()。cost是计算所有训练数据的损失，loss是计算一个训练函数的损失。对应于源代码则是少了两个for循环。
2、梯度函数gradient()由计算所有训练数据的梯度更改为计算一个训练数据的梯度。
3、本算法中的随机梯度主要是指，每次拿一个训练数据来训练，然后更新梯度参数。本算法中梯度总共更新100(epoch)x3 = 300次。梯度下降法中梯度总共更新100(epoch)次。
'''
'''准备训练数据'''
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]#猜测初始的权重
w = 1.0'''定义模型'''
def forward(x):return x * w'''定义loss函数,计算一个训练函数的损失'''
def loss(xs, ys):y_pred = forward(x)return (y_pred - y) ** 2'''计算梯度'''
def gradients(xs, ys):return 2 * x * (x * w - y)epoch_list = []
lost_list = []
print('predict (before training)', 4, forward(4))
'''训练过程'''
for epoch in range(100):for x, y in zip(x_data, y_data):grad = gradients(x, y)w -= 0.01 * gradprint("\tgrad:", x, y,grad)l = loss(x, y)print("progress:", epoch, "w=", w, "loss=", l)epoch_list.append(epoch)lost_list.append(l)print('predict (after training)', 4, forward(4))
plt.plot(epoch_list, lost_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()