向量到子空间的距离·最小二乘法

castelu

　　在解析几何中，两个点$\alpha$和$\beta$间的距离等于向量$\alpha-\beta$的长度。在欧氏空间中我们同样可引入

定义　长度$|\alpha-\beta|$称为向量$\alpha$和$\beta$的距离，记为$d(\alpha,\beta)$。

　　不难证明距离的三条基本性质：
1）$d(\alpha,\beta)=d(\beta,\alpha)$；
2）$d(\alpha,\beta) \ge 0$，并且仅当$\alpha=\beta$时等号才成立；
3）$d(\alpha,\beta) \le d(\alpha,\gamma)+d(\gamma,\beta)$（三角形不等式）。

　　一个点到一个平面（或一条直线）上所有点的距离以垂线最短。一个固定向量和一个子空间中各向量的距离也是以“垂线最短”。
　　这个几何事实可以用来解决一些实际问题。其中的一个应用就是解决最小二乘法问题。
　　最小二乘法问题：线性方程组
$$ \left\{ \begin{array}{l} a_{11}x_1+a_{12}x_2+\cdots+a_{1s}x_s-b_1=0\\ a_{21}x_1+a_{22}x_2+\cdots+a_{2s}x_s-b_2=0\\ \cdots\\ a_{n1}x_1+a_{n2}x_2+\cdots+a_{ns}x_s-b_n=0 \end{array} \right. $$
　　可能无解。即任何一组数$x_1$，$x_2$，$\cdots$，$x_s$都可能使
$$\sum\limits_{i=1}^n (a_{i1}x_1+a_{i2}x_2+\cdots+a_{is}x_s-b_i)^2$$
　　不等于零。我们设法找$x_1^0$，$x_2^0$，$\cdots$，$x_s^0$使上式最小，这样的$x_1^0$，$x_2^0$，$\cdots$，$x_s^0$称为方程组的最小二乘解。这种问题就叫最小二乘法问题。
　　下面我们利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件。令
$$A= \left( {\begin{array}{*{20}{c}} a_{11}&a_{12}&\cdots&a_{1s}\\ a_{22}&a_{22}&\cdots&a_{2s}\\ \vdots&\vdots&&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{ns} \end{array}} \right) ，B= \left( {\begin{array}{*{20}{c}} b_1\\ b_2\\ \vdots\\ b_n \end{array}} \right) ，$$
$$X= \left( {\begin{array}{*{20}{c}} x_1\\ x_2\\ \vdots\\ x_s \end{array}} \right) ，Y= \left( {\begin{array}{*{20}{c}} \sum\limits_{j=1}^s a_{1j}x_j\\ \sum\limits_{j=1}^s a_{2j}x_j\\ \vdots\\ \sum\limits_{j=1}^s a_{nj}x_j\end{array}} \right) =AX。$$
　　用距离的概念，
$$\sum\limits_{i=1}^n (a_{i1}x_1+a_{i2}x_2+\cdots+a_{is}x_s-b_i)^2$$
　　就是
$$|Y-B|^2。$$
　　最小二乘法就是找$x_1^0$，$x_2^0$，$\cdots$，$x_s^0$使$Y$与$B$的距离最短。但从$A$，$B$，$X$与$Y$的表达式，知道向量$Y$就是
$$Y=x_1 \left( {\begin{array}{*{20}{c}} a_{11}\\ a_{21}\\ \vdots\\ a_{n1} \end{array}} \right) +x_2 \left( {\begin{array}{*{20}{c}} a_{12}\\ a_{22}\\ \vdots\\ a_{n2} \end{array}} \right) +\cdots+x_s \left( {\begin{array}{*{20}{c}} a_{1s}\\ a_{2s}\\ \vdots\\ a_{ns} \end{array}} \right) $$
　　把$A$的各列向量分别记成$\alpha_1$，$\alpha_2$，$\cdots$，$\alpha_s$。由它们生成的子空间为$L(\alpha_1,\alpha_2,\cdots,\alpha_s)$。$Y$就是$L(\alpha_1,\alpha_2,\cdots,\alpha_s)$中的向量。于是最小二乘法问题可叙述成：
　　找$X$使
$$\sum\limits_{i=1}^n (a_{i1}x_1+a_{i2}x_2+\cdots+a_{is}x_s-b_i)^2$$
　　最小，就是在$L(\alpha_1,\alpha_2,\cdots,\alpha_s)$中找一向量$Y$，使得$B$到它的距离比到子空间$L(\alpha_1,\alpha_2,\cdots,\alpha_s)$中其他向量的距离都短。
　　设
$$Y=AX=x_1\alpha_1+x_2\alpha_2+\cdots+x_s\alpha_s$$
　　是所要求的向量，则
$$C=B-Y=B-AX$$
　　必须垂直于子空间$L(\alpha_1,\alpha_2,\cdots,\alpha_s)$。为此只须而且必须
$$(C,\alpha_1)=(C,\alpha_2)=\cdots=(C,\alpha_s)=0。$$
　　回忆矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即
$$\alpha_1'C=0，\alpha_2'C=0，\cdots，\alpha_s'C=0。$$
　　而$\alpha_1'$，$\alpha_2'$，$\cdots$，$\alpha_s'$按行正好排成矩阵$A'$，上述一串等式合起来就是
$$A'(B-AX)=0，$$
　　或
$$A'AX=A'B。$$
　　这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩阵是$A'A$，常数项是$A'B$。这种线性方程组总是有解的。