机器学习-machine learning

机器学习的数学基础

• 线性代数(Linear Algebra)
• 解析几何(Analytic Geometry)
• 矩阵分解(Matrix Decomposition)
• 向量微积分(Vector Calculus)
• 概率与分布(Probability and Distributions)
• 连续优化(Continuous Optimization)

第一节课

采用学习算法尝试模拟人类大脑的学习方式
基础——知道算法及其数学含义、如何用他们解决问题
机器学习——是从AI即人工智能发展出来的一个领域
网页搜索、相片标记、反垃圾邮件
使机器学会如何去做（有些部分编程无法实现）

第二节课

机器学习的定义（初阶）

让程序学会跳棋

机器学习定义（进阶）

E——程序与真人下几万次棋
T——玩跳棋
P（性能度量）——与新对手玩跳棋时赢的概率

课上习题理解
我的答案：A
正确答案：A
个人理解：T是任务，是最终的一个目的；E是经验，是一个过程；P是性能度量，统计正确与否的概率比例。

我们的系统在任务T上的性能，在得到经验E之后会提高性能度量P，也就是积累的经验越多，获胜的概率越大。

各种不同类型的学习算法中，最主要的两类是监督学习和无监督学习，还有强化学习和推荐系统等

第三节课

监督学习
例子一（要求会讲述）
例子二

例子二(进阶)

课上习题

我的答案：C
正确答案：C
个人理解：回归问题通过几个真实存在的值，根据趋势来预测；分类问题是分不同，有区分，判别

第四节课

无监督学习

这里提到了一个算法——聚类算法
应用例子就是谷歌新闻链接在此
谷歌新闻就是将数十万条新闻组成一个个新闻专题
去搜索成千上万条新闻，然后自动地将他们分蔟（分类）有关同一主题的新闻被显示在一起。

无监督学习或聚类算法


实现代码

下载Octave点击此处开始进行下载具体方法看心情出教程

我的答案：B
正确答案：B

第五节课

第一个学习算法：线性回归

回归是指我们预测一个具体的数值输出，也就是价格。
另一种最常见的监督学习问题被称为分类问题，用它来预测离散值输出。

第六节课

代价函数——弄清楚如何把最有可能的直线与我们的数据相拟合

如何选择O0和O1？


代价函数（平方误差函数、平方误差代价函数）cost function

第七节课

课程主要内容：通过例子直观理解代价函数是用来做什么的，以及为什么我们要使用它

假设函数和代价函数

第八节课（知识缺失、暂时跳过）

课前准备：熟悉等高线图等等高图像

第九节课

将代价函J最小化的梯度下降法
梯度下降——最小化任意函数


一直在寻找最佳下山方向，即从什么方向将会最快下山，直到收敛至全局最低点

局部最优解
数学原理

1. a：=b赋值
2. a = b 真假判定
3. a(希腊字母阿尔法)，被称为学习率的数字，它是用来控制梯度下降时，我们卖出多大的步子
4. 梯度下降法的细节：先计算右边的部分，然后同时更新O0和O1
   同步更新很重要

第十节课

梯度算法的是做什么的以及梯度下降算法的更新过程有什么意义



此处将a看作系数，系数越大，O1的变换程度越大
下面的例子就是在解释，如果O1已经处在一个局部最优点，下一步梯度下降该怎么办？

第十一节课

梯度下降算法（+）线性回归模型（=）平方差代价函数

下面是线性回归的代价函数（弓状函数（凸函数））


Batch梯度下降法

第十二节课到十七节课复习线性代数知识（略）

第十八节课

第十九节课

在学习了多元多变量的线性回归假设的形势下，本节课主要学习如何设定改假设的参数，如何使用梯度下降法来处理多元线性回归。

第二十节课

第二十一节课

学习率a

第二十二节课

与选择特征想法密切相关的一个概念被称为多项式回归。

知道了可以自由选择使用什么特征，通过设计不同的特征，能够用更复杂的函数拟合数据。

第二十三节课

正规方程

第二十四节课

第一百一十二节课（总结）