Normal Equation

之前我们用梯度下降来求解线性回归问题的最优参数，除此之外我们还可以用正规方程法（Normal Equation）来求解其最优参数。

Normal Equation方法的推导有两种方式

矩阵求导（matrix derivative）

$J(\theta) & = & {1\over 2m}\sum_{i=1}^m (h_\theta(x^{(i)} - y^{(i)}))^2 \\ & = & {1\over 2m}(Y-X\theta)^T(Y - X\theta) \\ & = & {1\over 2m}(Y^TY - Y^TX\theta - \theta^TX^TY - \theta^TX^TX\theta)$

其中 $(X\theta)^T=\theta^TX^T$

其中X的行表示样本，列表示特征：

$Y - X\theta = \begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ \vdots \\ y_m \end{bmatrix} - \begin{bmatrix} x_{11} & x_{12} & x_{13} & \cdots & x_{1n}\\ x_{21} & x_{22} & x_{23} & \cdots & x_{2n} \\ x_{31} & x_{32} & x_{33} & \cdots & x_{3n} \\ \vdots & \vdots & \vdots &\ddots &\vdots \\ x_{m1} & x_{m2} & x_{m3} & \cdots & x_{mn} \end{bmatrix} * \begin{bmatrix} w_1 \\ w_2 \\ w_3 \\ \vdots \\ w_m \end{bmatrix}$

令导数等于零：

${\partial J(\theta)\over \partial \theta} & = & {1\over 2m}(-X^TY - X^TY - (X^TX + X^TX)\theta) & \\ \\ \ \ \ \ ={1\over2m}(-2X^TY-2X^TX\theta)= 0 \\ \\=>\ \ \ \ X^TY-X^TX\theta=0$

因此：

$\theta = (X^TX)^{-1}X^TY$

关于矩阵求导的公式可以参见：常用的向量矩阵求导公式

下面解释一下部分求导的过程：

$\frac{\partial (Y^TX\theta)}{\partial \theta}=(Y^TX)^T=X^TY$

$\frac{\partial (\theta^TX^TY)}{\partial \theta}=X^TY$

$\frac{\partial (\theta^TX^TX\theta)}{\partial \theta}=X^TX\theta+(\theta^TX^TX)^T=X^TX\theta+(X^TX)^T\theta=2X^TX\theta$

线性代数视角

一、求解不可解的方程组

先看一个最最简单的例子——

例1.0 如图，在 $R^2$ 空间中有两个向量，求一个常数 $\theta$ 使两个向量满足 $\theta \overrightarrow{a} =\overrightarrow{b}$ 。

这个方程明显不可解，因为 $\overrightarrow{b}$ 与 $\overrightarrow{a}$ 不共线，无法通过对 $\overrightarrow{a}$ 数乘得到 $\overrightarrow{b}$ 。

再看下一个比较简单的例子——

例2.0 在 $R^3$ 空间中的平面 $P$ 有一组基 $\overrightarrow{a_1}$ 和 $\overrightarrow{a_2}$ ，如图所示，求出常数 $\theta_1$ 与 $\theta_2$ 使向量 $\overrightarrow{b}$ 满足条件 $\theta_1\overrightarrow{a_1}+\theta_2\overrightarrow{a_2} =\overrightarrow{b}$ 。

这个方程也明显不可解，因为 $\overrightarrow{b}$ 不在平面 $P$ 上，而 $\overrightarrow{a_1}$ 与 $\overrightarrow{a_2}$ 的线性组合只能得到平面上的向量。

以上两个问题非常的典型，因为在解决实际问题的时候，我们很难得到Perfect Solution，我们只能尽力而为的争取Best Solution。以上两个例子明显没有做到perfect(连基本的方向都错了)，那么如何找到Best Solution呢？

二、投影的应用（Projection）

思路很简单：我们只要找到一个 $\theta^*$ 使 $\overrightarrow{a}$ 方向上的向量 $\overrightarrow{p} =\theta^* \overrightarrow{a}$ 距离 $\overrightarrow{b}$ 最近。

回到最简单的例子例1.0,这里重复一遍

如图，在 $R^2$ 空间中有两个向量，求一个常数 $\theta$ 使两个向量满足 $\theta \overrightarrow{a} =\overrightarrow{b}$ 。

现在应该如何寻找 $\theta \overrightarrow{a} =\overrightarrow{b}$ 的解呢？

最好的方法就是抛弃 $\overrightarrow{b}$ 向量中垂直 $\overrightarrow{a}$ 的分量，只要计算 $\theta$ 使 $\theta \overrightarrow{a}$ 等于向量 $\overrightarrow{b}$ 在 $\overrightarrow{a}$ 方向的分量（即 $\overrightarrow{b}$ 在 $\overrightarrow{a}$ 上的投影(Proj) $\overrightarrow{p}$ ），同时我们把向量 $\overrightarrow{b}$ 垂直 $\overrightarrow{a}$ 方向的分量称为 $\overrightarrow{e}$ (error)。

原来的问题 $\theta \overrightarrow{a} =\overrightarrow{b}$ 变成了求解 $\theta^* \overrightarrow{a} =\overrightarrow{p}$ （ $\theta^*$ 是 $\theta$ 的估计量）

因为 $\overrightarrow{p}$ 与 $\overrightarrow{e}$ 合成了 $\overrightarrow{b}$ 向量（ $\overrightarrow{e} +\overrightarrow{p}= \overrightarrow{b}$ ），而且 $\overrightarrow{e}$ 垂直于 $\overrightarrow{a}$ ( $\overrightarrow{e}\bot \overrightarrow{a}$ )，所以我们得出了一个非常重要的结论（敲黑板）！！！核心啊！！！

$\overrightarrow{a}^T(\overrightarrow{b}-\theta^*\overrightarrow{a} ) = 0$

这个方程的核心就是写成向量内积形式的 $\overrightarrow{e}$ 与 $\overrightarrow{a}$ 的垂直关系，只不过 $\overrightarrow{e}$ 被拆开书写。其实这个方程也可以写作 $\overrightarrow{a}\times (\overrightarrow{b}-\theta^*\overrightarrow{a} ) = 0$ ，但是写作转置向量 $\overrightarrow{a}^T$ 的形式可以让这个方程更自然的拓展到高维（向量内积）。好了，我们继续改写方程……

$\theta^*\overrightarrow{a}^T \overrightarrow{a} = \overrightarrow{a}^T\overrightarrow{b}$
$\theta^* = \frac{\overrightarrow{a}^T\overrightarrow{b}}{\overrightarrow{a}^T\overrightarrow{a}}$

在这一步我们就得到了best的 $\theta$ ，但考虑到这并不perfect，所以我们称之为 $\theta^*$ 。

P.S.如果想用投影矩阵P来简化从 $\overrightarrow{a}$ 转换到 $\overrightarrow{p}$ 的过程，可以把 $\theta^*$ 的结果带入到 $\overrightarrow{p} =\theta^* \overrightarrow{a}$ 中。我们发现投影矩阵 $P$ 在形式上就等于乘数 $\theta^* = \frac{\overrightarrow{a}^T\overrightarrow{b}}{\overrightarrow{a}^T\overrightarrow{a}}$ ，即 $\overrightarrow{p}$ 满足 $\overrightarrow{p} =P\overrightarrow{a}$ 。

向量a·向量b=| a |*| b |*cosΘ
Θ为两向量夹角
| b |*cosΘ叫做向量b在向量a上的投影
| a |*cosΘ叫做向量a在向量b上的投影

$\theta^* = \frac{\overrightarrow{a}^T\overrightarrow{b}}{\overrightarrow{a}^T\overrightarrow{a}}$ 分子为 $\overrightarrow{b}$ 在 $\overrightarrow{a}$ 上的投影，分母为 $\overrightarrow{a}$ 在 $\overrightarrow{a}$ 上的投影，同乘了 $\overrightarrow{a}$ 向量的模，投影的比值即为 $\theta^*$

现在我们再看看怎么在 $R^3$ 中解决不可解方程。

例2.0 在 $R^3$ 空间中的平面 $P$ 有一组基 $\overrightarrow{a_1}$ 和 $\overrightarrow{a_2}$ ，如图所示，求出常数 $\theta_1$ 与 $\theta_2$ 使向量 $\overrightarrow{b}$ 满足条件 $\theta_1\overrightarrow{a_1}+\theta_2\overrightarrow{a_2} =\overrightarrow{b}$ 。

平面 $P$ 有基向量 $\overrightarrow{a_1}$ 和 $\overrightarrow{a_2}$ ，故投影 $P$ 可以表示成基的线性组合 $\theta_1\overrightarrow{a_1}+\theta_2\overrightarrow{a_2}$ ，即 $\begin{bmatrix}a_1 a_2\end{bmatrix}\begin{pmatrix}\theta_1 \\\theta_2\end{pmatrix}$

令基向量组成的矩阵 $A=\begin{bmatrix}| \ \ |\\a_1 a_2\\| \ \ |\\\end{bmatrix}$ ，参数组成的向量 $\overrightarrow{\theta} = \theta_{1 \dots n} \ (n = 2)$ ，与平面垂直的误差向量 $\overrightarrow{e} = \overrightarrow{b}-A \overrightarrow{\theta^*}$ 。（这里插一句话，最小二乘法的核心就是找出一个 $\theta^*$ 就是让 $\left|| A\theta-b \right||^2$ 最小化）

我们发现在 $R^2$ 中的问题 $\theta \overrightarrow{a} =\overrightarrow{b}$ 在这里拓展成为了 $A\overrightarrow{\theta }=\overrightarrow{b}$ 。

相应的， $\theta^* \overrightarrow{a} =\overrightarrow{p}$ 问题在这里拓展成了 $A\overrightarrow{\theta^*}=\overrightarrow{p}$ ，其中 $\vec{p}=\vec{\theta_1}\vec{a_1}+\vec{\theta_2}\vec{a_2}$ 。

还是一样的套路，我们还是从垂直关系入手——因为 $P \bot \overrightarrow{e}$ ，而且 $\vec{p}\in \vec{\theta_1}\vec{a_1}+\vec{\theta_2}\vec{a_2}$ ，所以有以下方程组——

$\begin{cases}\overrightarrow{a_1}^T(\overrightarrow{b}-A\overrightarrow{\theta^*})=0\\\overrightarrow{a_2}^T(\overrightarrow{b}-A\overrightarrow{\theta^*})=0\end{cases}$

整理成矩阵的形式——

$\begin{bmatrix}-\overrightarrow{a_1}^T-\\-\overrightarrow{a_2}^T-\\\end{bmatrix}(\overrightarrow{b}-A\overrightarrow{\theta^*})=0$

（敲黑板！！！敲黑板！！！）
$A^T(\overrightarrow{b}-A\overrightarrow{\theta^*})=0$

写到这里回头看看 $R^2$ 情景下的核心公式 $\overrightarrow{a}^T(\overrightarrow{b}-\theta^*\overrightarrow{a} ) = 0$ ，可以这家伙换一套马甲又出现了！！！看来方程 $A^T(\overrightarrow{b}-A\overrightarrow{\theta^*})=0$ 是一种高维的拓展。我们可以把 $R^2$ 中的 $\overrightarrow{a}$ 看成一个只有一列的矩阵。

我们继续整理这个公式——

$A^T\overrightarrow{b} = A^TA\overrightarrow{\theta}$
$\overrightarrow{\theta} = (A^TA)^{-1}A^T\overrightarrow{b}$

写到这里我们就没什么可以干的了。

有人可能想说——明明还可以继续化简啊！！！

$\begin{equation}\begin{split}\overrightarrow{\theta} &= (A^TA)^{-1}A^T\overrightarrow{b}\\& = A^{-1}(A^T)^{-1}A^T\overrightarrow{b}\\& = A^{-1}\overrightarrow{b}\end{split}\end{equation}$

但实际的情况中，我们不能保证矩阵 $A$ 总是方阵（square），但是 $A^TA$ 总是可以保证是方阵。因为只有方阵才有逆矩阵，所以我们只能保证有 $(A^TA)^{-1}$ ，而不能保证有 $A^{-1}$ 。

所以我们只能回到 $\overrightarrow{\theta} = (A^TA)^{-1}A^T\overrightarrow{b}$ 这里。如果你有读过Andrew Ng著名的公开课CS229的Lecture Notes，你一定记得他用矩阵求导得出的Normal Equation——

你会发现除了 $\overrightarrow{y}$ 和 $\overrightarrow{b}$ 不一样以外，我们已经把Normal Equation（ $\overrightarrow{\theta} = (A^TA)^{-1}A^T\overrightarrow{b}$ ）推出来了……我居然在下一部分还没有开始讲就把内容说完了，场面一度非常尴尬啊。可见从投影推出Normal Equation是一件多么自然的事情啊~~~我都不知道哪里切开。

说到这里先总结一下投影的几个意义（敲黑板）！！！

$A\overrightarrow{\theta}$ 的所有可能结果都在一个固定的区域中，在线性代数中我们称这个区域为列空间(column space),列空间顾名思义就是矩阵各列的所有线性组合 $\overrightarrow{\theta_1}\overrightarrow{a_1}+\overrightarrow{\theta_2}\overrightarrow{a_2}+\dots+\overrightarrow{\theta_n}\overrightarrow{a_n}$ 。在1-D的情况下列空间就是一条线，在2-D的情况下列空间就是一个平面。但是我们的数据哪里会这么恰好的落在矩阵的列空间里呢？天底下哪有这样的好事啊！！！

特别是在数据量特别大的情况下，矩阵特别是在数据量特别大的情况下，矩阵 $A$ 会成为一个 $n\gg m$ 的超级高大的 $n\times m$ 矩阵（如下图）。在这种等式数量远大于未知数数量的情况中，我们很难满足每一个等式的约束。 $A = \begin{bmatrix}1 & 1\\1 & 2\\. & .\\. & .\\ . & .\\1 & 3\\\end{bmatrix}$

但是目标不再在空间里并不代表不能求出解，只能说没有perfect solution（语出Gilbert Strang），但是我们努力一下还是可以做到最好的(best solution)。我们用投影向量 $\overrightarrow{p}$ 来寻找最合适的 $\overrightarrow{\theta^*}$ 。 $\overrightarrow{\theta^*}$ 就是并不存在的完美解 $\overrightarrow{\theta}$ 的估计值。

三、矩阵求导与投影推导之间的联系

回顾矩阵求导得到的Normal Equation:

$\theta = (X^TX)^{-1}X^TY$

以及投影视角得到的公式

$\overrightarrow{\theta} = (A^TA)^{-1}A^T\overrightarrow{b}$

两者除了在符号表示上有所区别，其它的一模一样，现在从符号本身的含义去联系两者。

归根结底，Normal Equation是用来求解一个最优化问题。在投影的方法中，矩阵A作为一个基向量空间，用于寻找最优的 $\overrightarrow{\theta^*}$ 以使得最接近 $\overrightarrow{b}$ 。

矩阵A有多少行就表示基向量空间有多少维（每个特征有多少样本量，就表明在这个空间中有多少维度），有多少列，就表示有多少个基向量。

在线性回归中矩阵A就等同于X，行数为样本量，列数为特征量，b等同于Y，为目标向量。

当特征远远少于样本量的时候说明基向量的空间维数很高，但基向量很少。也就是说在一个很大的空间中，只有少数几个方向给定，需要去拟合向量Y，那难度当然很大，误差就很大。

当特征数量远远大于样本量的时候就相反，基向量空间不大，但基向量的个数很多。也就是说在一个不大的空间中，有很多的基向量，基本涵盖了所有的方向，此时我想要找到一个基向量的线性组合去逼近目标向量Y，那就容易很多了。此时 $\overrightarrow{\theta^*}$ 就会强依赖于当前的样本，泛化能力就很差，过拟合。

四、Normal Equation应用

既然Normal Equation在上文都推导完了，这里我们就随便带几个数据来玩玩咯。

练手案例 找一条直线来拟合点 (1,1)、(2,2)、(3,2)
我们如果用一条直线来拟合的话，设 $h(\theta) = \theta_0 + \theta_1x_1$ ，我们先得到以下值——
$\overrightarrow{\theta} = \theta_{0 \dots n} \ (n = 1)$

$A = \begin{bmatrix}1 & 1\\1 & 2\\1 & 3\\\end{bmatrix}$ $A^T = \begin{bmatrix}1 & 1 & 1 \\1 & 2 & 3 \\\end{bmatrix}$ $A^TA = \begin{bmatrix}3 & 6 \\6 & 14\\\end{bmatrix}$ $\overrightarrow{h(\theta)}= (1,2,2)^T$
我们发现 $A\overrightarrow{\theta} =\overrightarrow{h(\theta)}$ 很遗憾的没有解，于是我们左右各乘上 $A^T$ ，祭出了投影大招—— $A^TA\overrightarrow{\theta^*}=A^T\overrightarrow{h(\theta^*)}$ 。
再把这个方程变换成Normal Equation: $\overrightarrow{\theta^*} = (A^TA)^{-1}A^T\overrightarrow{h(\theta^*)}$
带入数值在Matlab中小跑一下就得到了结果 $\overrightarrow{\theta^*} = \begin{pmatrix}\frac 23\\\\\frac 12 \\ \end{pmatrix}$
即直线 $h(x) = \frac 23 + \frac 12 x$ 是上述三个点的拟合结果。

五、其他想说的话

1.关于 $A^TA\overrightarrow{\theta^*}=A^T\overrightarrow{h(\theta^*)}$ 的暴力使用

在前一步可以不用判断是否可解，可以直接使用 $A^TA\overrightarrow{\theta^*}=A^T\overrightarrow{h(\theta^*)}$ 。事实上，在最小二乘时遇到长方形矩阵 $A^T$ ，我们就可以用上 $A^TA$ 替代 $A^T$ 计算。这是是一种路子很野的但是很简单实用的经验规则，可以简单实验如下——

用直线 $h(\theta) = \theta_0 + \theta_1x_1$ 拟合三个点 (1,1)、(2,2)、(3,2)时，自然希望真实值和估计值的误差 $\left \| h(\theta^*)-h(x)\right \|^2$ 越小越好。 $\begin{equation}\begin{split}error=\left \| h(\theta^*)-h(x)\right \|^2 &= (\theta_0 +\theta_1 -1 )^2+(\theta_0 +2\theta_1-2 )^2+(\theta_0 +3\theta_1 -2 )^2\\\end{split}\end{equation}$
分别对 $\theta_0$ 和 $\theta_1$ 求偏导数等于的零的值——
$\begin{equation}\begin{split}\partial error/\partial\theta_0&= 2(\theta_0 +\theta_1 -1 )+2(\theta_0 +2\theta_1-2 )+2(\theta_0 +3\theta_1 -2 )\\& = 6\theta_0+12\theta_1-10\\& = 0\\\end{split}\end{equation}$
$\begin{equation}\begin{split}\partial error/\partial\theta_0&= 2(\theta_0 +\theta_1 -1 )+2(\theta_0 +2\theta_1-2 )\times 2+2(\theta_0 +3\theta_1 -2 )\times 3\\& = 12\theta_0+28\theta_1-22\\& = 0\\\end{split}\end{equation}$ 这边有个小笔误，是对 $\theta_1做偏导$ 做偏导
整理以上公式我们得到了方程组——
$\begin{cases}3\theta_0+6\theta_1 = 5\\6\theta_0+14\theta_1 = -11\\\end{cases}$
再整理一下，把这个方程写成矩阵乘法的形式——
$\begin{bmatrix}3&6\\6&14\end{bmatrix}\begin{pmatrix}\theta_0\\\theta_1\end{pmatrix}= \begin{pmatrix}5\\-11\end{pmatrix}$
在最后一步整理以后我们发现刚才千辛万苦算出来的 $\begin{bmatrix}3 & 6 \\6 & 14\\\end{bmatrix}$ 就是上文的 $A^TA$ 啊！！！
说明这个经验方法是可以信得过的！！！

2.关于化简的问题

因为投影的性质非常美妙，如果矩阵 $A$ 是各行线性无关的方阵(square)，说明存在 $A^{-1}$ ，则Normal Equation会变成如下形式——

$\begin{equation}\begin{split}\overrightarrow{\theta} &= (A^TA)^{-1}A^T\overrightarrow{b}\\&=A^{-1}{A^T}^{-1}A^T\overrightarrow{b}\\&=A^{-1} \overrightarrow{b}\\\end{split}\end{equation}$

说明如果存在一个perfect solution，该解不会受到影响。

3.多次投影有影响吗？

已经在空间中的向量乘上投影矩阵 $P$ 仍然等于本身，二次投影不会有任何副作用！也就是说 $P^2 = P$ 。证明如下——

$\begin{equation}\begin{split}P^2 &= (A(A^TA)^{-1}A^T)(A(A^TA)^{-1}A^T)\\&=A(A^TA)^{-1}(A^TA)(A^TA)^{-1}A^T\\&=A(A^TA)^{-1}A^T\\&=P\end{split}\end{equation}$

参考文章：

线性回归及其概率解释

NormalEquation推导过程

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

ibatis配置log4j输出sql语句等日志信息
整了一上午的ibatis，记得自己以前配置过log4j可以输出sql语句，但是这次不知道咋了，就是不输出，找以前的项目还找不到了，上网上搜索了半天，都是差不多的配置log4j.properties，然后放到class目录下，但是就是不好用。真后悔当初没有把经验流下来。这次我决定虽然工作时间…...
2024/4/21 10:05:25
MIT 线性代数（10—12）读书笔记
第十讲：四个基本子空间假设A是mn，列空间C(A)，零空间N(A)，行空间C(A^T)，A转置的零空间(通常叫左零空间)N(A^T)，这是线性代数的核心内容，研究这四个基本子空间及其关系。我们从上一讲中的基、维数对这四个空间进行学习。1.维数1.1四种空间的定义 A是m*n的矩阵。零空间N(…...
2024/4/21 10:05:25
C#-iBatis.NET使用小结
iBatisiBATIS一词来源于“internet”和“abatis”的组合。是一个基于SQL映射支持Java和NET的持久层框架。是一种轻量级的对象关系映射(ORM)框架。是一种“半自动化”的ORM实现。iBatis.NET 重要配置文件Providers.config：数据库连接驱动配置文件，我们主要用 SQLServer 数据…...
2024/4/21 10:05:23
数理科学和化学3
更多文档 http://www.ebook12345.com/ http://123.206.70.198:8888/ 欢迎咨询。 A 《数学实验》焦光虹主编 291页北京：科学出版社 2006.01 .PDF A 《线性代数解题方法与技巧》卢刚主编；卢刚，冯翠莲，孙惠玲编著 168页北京：北京大学出版社 2006.10 .PDF A 《数学方法…...
2024/4/21 10:05:25
ibatis读取数据库链接和解析sql
ibatis set statementScopeibatis 读取数据源...
2024/4/21 10:05:21
JAVA开发：分享一些SpringMvc+Ibatis+spring的框架使用心得
原文：http://www.cnblogs.com/qq-602904354/p/4020670.html近期不在做.net的项目，而是使用java作为开发语言，就想着要用springmvc开发了，由于前些年也用过struts1/2+hibernate/ibatis+spring开发过项目，因此是有些底子的。从网上看了些springmvc的介绍后，自己做了个demo。…...
2024/4/21 10:05:21
线代哪家强
器学习学者张志华教授曾经说过：“搞好机器学习，关键是数学，但你又不能把机器学习变成搞数学，那样就漫无边际了。”数学浩瀚如海，神灵通天，我们还是要敬畏数学之神，不要毫无目标、不计成本的扩大数学的钻研，而是要把握好度。对于绝大多数 AI 工程师来说，还是应该以机器…...
2024/4/21 10:05:22
Ibatis缓存的使用:cachemodel
cachemodel是ibatis里面自带的缓存机制:1:配置开始使用缓存在使用ibatis的时候，我们可以开启他自带的缓存，在实际使用中，在sqlmap-config.xml 中一直有设置<settings cacheModelsEnabled="true" enhancementEnabled="true" lazyLoading…...
2024/4/21 10:05:18
重新理解“复数”
转载自《线性代数及其应用导论》复数由于所有实数的平方都非负，所以我们知道方程x2 + 1 = 0在实数系统内无解。为了使此方程有解，我们将引入一类新的数——复数。早在16世纪，人们已经用符号来提供表示方程x2 + 1 = 0的解的方法，这个符号后来用字母i代替，它是一个虚构的、…...
2024/4/21 10:05:17
Caused by: org.apache.ibatis.builder.BuilderException: Error parsing SQL Mapper Configuration.
错误为：org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession. ### The error may exist in mapper/UserMapper.xml ### The error occurred while processing mapper_resultMap[UserRstMap] ### Cause: org.apache.ibatis.builder.BuilderExce…...
2024/4/20 17:53:48
线性代数学习笔记——第二十七讲——向量的方向余弦
1. 向量方向角的定义2. 向量方向余弦的定义（方向角的余弦）及其性质3. 方向余弦的应用示例13. 方向余弦的应用示例2...
2024/4/20 17:53:47
ibatis 查询返回结果为map
ibatis里面result只有3种，resultMap，resultClass，resultSetType，没有resultType（mybatis的）研究了下手册，发现返回map的方式如下： <resultMap class="java.util.HashMap" id="getCountStoreMstr"><result property="countBalanceQt…...
2024/4/20 17:53:46
Ibatis大于，小于等于
其实就是xml的特殊符号，因为它的配置就是xml，所以可以用下面这种写法转义< < > > <> <>& & ' " "也可以使用<![CDATA[ ]]>符号进行说明，将此类符号不进行解析 <!…...
2024/4/20 17:53:45
2020年目标展望
Do what I can do！ Some books to read线性代数及其应用(第五版)（菲赫金哥尔茨）微积分教程方法论（笛卡尔）图解算法算法与数据结构 python语言实现Things need to do 1. 跆拳道（Teakwondo）540后旋考级360单脚2.实习（心仪的互联网公司实习） 3. 工作（秋招签个不错的AI算…...
2024/4/20 17:53:45
Android APK 反编译
本文主要讲解Android APK 的简单反编译，需要的材料有：一、工具介绍1. dex2jar：将apk反编译成java源码（classes.dex转化成jar文件）。2. jd-gui ：查看APK中的classes.dex转化成的jar文件（源码文件）。二、反编译1.下载dex2jar，下载地址：http://jd.benow.ca2.下载jd-gui…...
2024/4/20 2:45:32
线性代数-Gilbert Strang(第二部分)
第十四课时：正交向量与子空间结论：行空间(r)与零空间(n-r)是正交的列空间(r)与左零空间(m-r)是正交的正交向量在n维空间中，向量之间的夹角为90度。如果 XTY=0，则X,Y 正交零向量与任何向量都正交正交子空间定义：如果子空间 S 与子空间 T 正交，那么 S 中的每个向量都和 …...
2024/4/20 13:56:43
Mybatis异常-java.lang.IllegalArgumentException: No enum constant org.apache.ibatis.type.JdbcType.NUMBE
转载请注明来源：http://blog.csdn.net/loongshawn/article/details/50496202运行环境SpringBootMybatis异常摘要org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.builder.BuilderException: Error resolving JdbcType. Cause: java.lang.I…...
2024/4/20 17:53:41
浅谈L0,L1,L2范数及其应用
原文传送门：浅谈L0,L1,L2范数及其应用浅谈L0,L1,L2范数及其应用在线性代数，函数分析等数学分支中，范数（Norm）是一个函数，其赋予某个向量空间（或矩阵）中的每个向量以长度或大小。对于零向量，另其长度为零。直观的说，向量或矩阵的范数越大，则我们可以说这个向量或矩…...
2024/4/22 19:32:48
ibatis中simple，dbcp，jndi的区别
关键字: ibaties, datasource, cache1. 在ibatis的配置文件中dataSource 节点有这么个配置<datasource type="SIMPLE"></datasource>,根据原文下的解释知道其中type有SIMPLE,DBCP,JNDI三种.我想问下这三种类型的区别在于哪里, 在什么情况下用到,常用的是…...
2024/4/24 4:14:48
ibatis和mybatis 自动生成代码
在myeclipse中示例一：ibatis自动生成代码安装下面的插件：http://ibatis.apache.org/tools/abator 配置文件如下：abatorConfig.xml<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE abatorConfiguration PUBLIC "-//Apache Softwar…...
2024/4/25 9:18:46

【机器学习】线性回归之Normal Equation（矩阵求导与线性代数视角）