教学网址：莫凡python

理论：
强化学习包含三种方法：
1.通过价值选行为：Q Learning,Sarsa,Deep Q Network.
2.直接选行为：Policy Gradlents.
3.想象环境并从中学习：Model based RL.

 

强化学习方法汇总（.比较著名的控制方法：Q Learning,Policy Gradlents,Model based RL.）：
基于环境的划分：
1.不理解环境(Model-Free RL）:Q Learning,Policy Gradlents,Sarsa.
2.理解环境(Model-Based RL):Q Learning,Policy Gradlents,Sarsa.
如图1理解与不理解环境，图2不理解则一步一步来。理解则基于自己的想象，如阿法狗围棋：
在这里插入图片描述

基于其它的划分：Policy Gradlents
基于概率(Policy-Based Rl):Q Learning,Sarsa

 

 

 

 

教程模块：

强化学习有现成模块可以使用，模块并不全面，强化学习依赖你给与的学习环境，对不同学习环境的强化学习。RL的代码就不同。学习方法就是用基础的模块，从基础学起，懂了原理，就不怕复杂环境。

用到的模块和对应的教程：

• Numpy, Pandas (必学), 用于学习的数据处理
• Matplotlib (可学), 偶尔会用来呈现误差曲线什么的
• Tkinter (可学), 你可以自己用它来编写模拟环境
• Tensorflow ，Pytorch(优选)(可学), 后面实现神经网络与强化学习结合的时候用到
• OpenAI gym (可学), 提供了很多现成的模拟环境

Q-Learning（是一个决策过程）:

一个简单例子：

状态s1:写作业状态，s2:看电视状态

动作a1:看电视动作，a2:写作业动作

Q表：

Q-Learning算法如下图：

 参数物理意义：

1.Q(s2)的最大估计。

2.greedy用在决策上的策略，当为0.9时，90%按照Q表最优值行为，10%为随机选择行为。

3.a(小于1)为学习效率，决定有多少误差被学习。

4.r为未来奖励的衰减值。

表示正在衰减，离s1越远，衰减越严重。

程序: