线代笔记

向量及向量组的概念与应用

1. 向量的基本概念

• 定义：向量是一个同时具有大小和方向的量。在数学中，通常用有序数组表示，如 \(\mathbf{v} = (v_1, v_2, ..., v_n)\)。
• 表示方法：
  • 几何表示：箭头表示，起点到终点的方向代表向量的方向，长度代表向量的大小。
  • 代数表示：有序数组或矩阵形式。
• 基本运算：
  • 加法：\(\mathbf{u} + \mathbf{v} = (u_1 + v_1, u_2 + v_2, ..., u_n + v_n)\)
  • 数乘：\(c\mathbf{v} = (cv_1, cv_2, ..., cv_n)\)，其中 \(c\) 是一个标量。
  • 内积（点积）：\(\mathbf{u} \cdot \mathbf{v} = u_1v_1 + u_2v_2 + ... + u_nv_n\)

2. 向量组的概念

• 定义：一组向量的集合称为向量组，例如 \(\{\mathbf{v}_1, \mathbf{v}_2, ..., \mathbf{v}_m\}\)。
• 线性组合：给定向量组 \(\{\mathbf{v}_1, \mathbf{v}_2, ..., \mathbf{v}_m\}\)，如果存在一组标量 \(c_1, c_2, ..., c_m\)，使得 \(\mathbf{w} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + ... + c_m\mathbf{v}_m\)，则称 \(\mathbf{w}\) 是这组向量的一个线性组合。
• 线性相关与线性无关：
  • 线性相关：如果向量组中至少有一个向量可以表示为其余向量的线性组合，则称这些向量线性相关。
  • 线性无关：如果向量组中的任何一个向量都不能表示为其余向量的线性组合，则称这些向量线性无关。

3. 向量及向量组的应用

• 计算机图形学：用于表示物体的位置、方向和速度等。
• 机器学习：特征向量用于表示数据集中的样本，向量间的距离和角度用于度量相似性。
• 物理学：力、速度、加速度等物理量都可以用向量来表示。
• 工程计算：结构分析、流体力学等领域中，向量用于描述各种物理现象。

4. 示例

4.1 向量的加法示例

假设两个向量 \(\mathbf{a} = (1, 2)\) 和 \(\mathbf{b} = (3, 4)\)，它们的和为：

\[ \mathbf{a} + \mathbf{b} = (1+3, 2+4) = (4, 6) \]

4.2 线性组合示例

考虑向量组 \(\{\mathbf{v}_1, \mathbf{v}_2\}\)，其中 \(\mathbf{v}_1 = (1, 0)\) 和 \(\mathbf{v}_2 = (0, 1)\)。向量 \(\mathbf{w} = (2, 3)\) 可以表示为这两个向量的线性组合：

\[ \mathbf{w} = 2\mathbf{v}_1 + 3\mathbf{v}_2 = 2(1, 0) + 3(0, 1) = (2, 3) \]

以上是一个简单了解

极大线性无关组的应用

今天老师讲了极大线性无关组及求解，而线性代数与计算机算法，物理世界紧密相连，以下是我总结的一些应用，意义。

在数据分析和机器学习中，极大线性无关组的应用体现在提取数据中的关键信息和进行降维处理上。以下是对这一应用的详细解释：

一、极大线性无关组与特征提取

极大线性无关组是一组向量之间都不相关的方程组，能够反映数据中的独立成分或关键信息。在数据分析和机器学习中，数据通常被表示为多维向量（即特征向量）。这些特征向量中可能包含冗余信息，即某些特征可以由其他特征线性表示。通过找到这些特征向量中的极大线性无关组，我们可以提取出数据中的关键信息，即那些不能由其他特征线性表示的特征。

二、降维处理

去除冗余特征： 在数据预处理阶段，去除冗余特征可以简化模型，提高算法的运行效率。冗余特征不仅增加了计算量，还可能对模型的性能产生负面影响，因为它们可能引入噪声或干扰。 通过找到特征向量中的极大线性无关组，我们可以确定哪些特征是冗余的，并将其从数据集中删除。这样，我们可以在保持数据关键信息的同时，减少数据的维度。 提高模型准确性： 去除冗余特征后，模型可以更专注于那些对预测结果有显著影响的特征。这有助于提高模型的准确性和泛化能力。 在某些情况下，去除冗余特征还可以减少模型的过拟合风险，因为过拟合往往与模型复杂度过高（即包含过多冗余特征）有关。 三、实际应用案例 在数据分析和机器学习的实际应用中，极大线性无关组的概念通常与主成分分析（PCA）等降维技术相结合。PCA是一种常用的数据降维方法，它通过线性变换将原始数据转换为一组各维度线性无关的表示（即主成分）。这些主成分实际上就是原始数据中的极大线性无关组。通过选择前几个主成分（即包含最多信息的维度），我们可以实现数据的降维处理，同时保留数据中的关键信息。

综上所述，极大线性无关组在数据分析和机器学习中具有广泛的应用价值。它可以帮助我们提取数据中的关键信息，去除冗余特征，从而提高算法的效率和准确性。在实际应用中，我们可以结合PCA等降维技术来实现这一目标。

线性方程组解的结构

线性方程组解的三种情况

线性方程组解的三种情况分别是：有唯一解、有无穷多解和无解。其中“有唯一解”和“无解”比较简单，而“有无穷多解”时比较麻烦。

比如以下一堆图形：◯ ∘ 〇△ △ ∆▵▵▵⬭⬭⬯☐ □ □ 看起来好多，不太好理解，数学并不喜欢这种表达方式。其实就只有四种类型：◯ △ ⬭ □ ，上面的一堆图形都是可以通过这四种图形表示的。

所以，解的结构大概意思就是：在“有无穷多个解”的时候，找到“几个”就能把“无穷多个”都表示出来。

2 齐次线性方程组解的结构

齐次线性方程组：\(A X = O\)

我们在之前的章节（线性代数学习笔记（二十八）——齐次方程组的解）说过，齐次线性方程组的解有两种情况：

1. 只有唯一零解
2. 有非零解，一旦有非零解，就有无穷多个非零解。

2.1 性质

1. 如果\(\eta_1\)和\(\eta_2\)是齐次线性方程组\(A X = O\)的解，那么\(\eta_1 + \eta_2\)也是其解。

   • 证：将\(\eta_1 + \eta_2\)代入\(A X\)得： \[ A (\eta_1 + \eta_2) = A (\eta_1) + A (\eta_2) \] 由题意可知，\(\eta_1\)和\(\eta_2\)都是齐次线性方程组\(A X = O\)的解， 因此： \[ A (\eta_1) + A (\eta_2) = 0 + 0 = 0 \] 即： \[ A (\eta_1 + \eta_2) = 0 \] 故上式得证。

2. 如果\(\eta\)是齐次线性方程组\(A X = O\)的解，那么对于任意常数\(c\)，都有\(c \eta\)也是其解。

   • 证：将\(\eta\)代入\(A X\)得： \[ A (c \eta) = c A \eta \] 由题意可知，\(\eta\)是齐次线性方程组\(A X = O\)的解， 因此： \[ c A \eta = c \cdot 0 = 0 \] 即： \[ A (c \eta) = 0 \] 故上式得证。

注意：上面的任意常数\(c\)可以取0。当\(c\)取0时，\(c \eta = 0\)，即为齐次线性方程组的零解；如果\(c \neq 0\)时，齐次线性方程组有无穷多解。

若齐次线性方程组有无穷多解时，能否找出几个解，就能把其无穷多个解都表示出来呢？接下来看下面的概念：基础解系。

2.2 基础解系

假设齐次线性方程组有无穷多解，找出一部分解：\(\eta_1, \eta_2, \cdots, \eta_s\)，其中：

1. \(\eta_1, \eta_2, \cdots, \eta_s\)是线性无关的；
2. 任意一个解可由\(\eta_1, \eta_2, \cdots, \eta_s\)来线性表示。

那么\(\eta_1, \eta_2, \cdots, \eta_s\)就叫齐次线性方程组的一个基础解系。

该定义的两个条件，和前面（线性代数学习笔记（二十四）——向量组的秩（一））讲过的极大线性无关组几乎是一样的。所以齐次线性方程组的基础解系，就是其解向量的极大线性无关组，这两个概念是一模一样的。

2.2.1 基础解系的存在性及求法

例 4.4.1 求齐次线性方程组 \[ \begin{cases} 3x_1 + x_2 - 6x_3 - 4x_4 + 2x_5 = 0 \\ 2x_1 + 2x_2 - 3x_3 - 5x_4 + 3x_5 = 0 \\ x_1 - 5x_2 - 6x_3 + 8x_4 - 6x_5 = 0 \end{cases} \] 的一个基础解系。

解：很明显，方程为3个，未知数为5个，方程个数小于未知数个数，所以方程组有无穷多解。对方程组的系数矩阵\(A\)做初等行变换： \[ A = \begin{bmatrix} 3 & 1 & -6 & -4 & 2 \\ 2 & 2 & -3 & -5 & 3 \\ 1 & -5 & -5 & 8 & -6 \end{bmatrix} \]

只做初等行变换化为行简化阶梯型： \[ \begin{bmatrix} 1 & 0 & -\frac{9}{4} & -\frac{3}{4} & \frac{1}{4} \\ 0 & 1 & \frac{3}{4} & -\frac{7}{4} & \frac{5}{4} \\ 0 & 0 & 0 & 0 & 0 \end{bmatrix} \]

将非0行的首非0元的第\(i\)个1对应的\(x_i\)留在等号左边，其余\(x_{i+1}, x_{i+2}, \cdots, x_n\)挪到右边去（注意正负号）。写出同解方程组： \[ \begin{cases} x_1 = \frac{9}{4}x_3 + \frac{3}{4}x_4 - \frac{1}{4}x_5 \\ x_2 = -\frac{3}{4}x_3 + \frac{7}{4}x_4 - \frac{5}{4}x_5 \end{cases} \]

等号右边的 \(x_3, x_4, x_5\) 是自由未知量。

令 \(\mathbf{x}_3, \mathbf{x}_4, \mathbf{x}_5\) 依次取 \(\varepsilon_1 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}\), \(\varepsilon_2 = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}\), \(\varepsilon_3 = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix}\)，分别代入得：

\[ \eta_1 = \begin{pmatrix} \frac{9}{4} \\ -\frac{3}{4} \\ 1 \\ 0 \\ 0 \end{pmatrix}, \quad \eta_2 = \begin{pmatrix} \frac{3}{4} \\ \frac{7}{4} \\ 0 \\ 1 \\ 0 \end{pmatrix}, \quad \eta_3 = \begin{pmatrix} -\frac{1}{4} \\ -\frac{5}{4} \\ 0 \\ 0 \\ 1 \end{pmatrix} \]

因此，\(\eta_1, \eta_2, \eta_3\) 是方程组的一个基础解系。

基础解系结果验证

为什么说 \(\eta_1, \eta_2, \eta_3\) 就是方程组的一个基础解系呢？根据定义可知：

1. 线性无关：

   • \(\eta_1, \eta_2, \eta_3\) 分别是 \(\varepsilon_1, \varepsilon_2, \varepsilon_3\) 的接长向量，很明显 \(\eta_1, \eta_2, \eta_3\) 是线性无关的。根据线性代数的学习笔记（二十二）——向量间的线性关系（二）可知：线性无关的向量组，接长向量组也线性无关。

2. 任意一个解可由 \(\eta_1, \eta_2, \eta_3\) 线性表示：

   • 例如，任意解 \((x_1, x_2, x_3, x_4, x_5)\) 可以使用 \(\eta_1, \eta_2, \eta_3\) 来线性表示，即：

   \[ \begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5 \end{pmatrix} = \begin{pmatrix} \frac{9}{4}x_3 + \frac{3}{4}x_4 - \frac{1}{4}x_5 \\ -\frac{3}{4}x_3 + \frac{7}{4}x_4 - \frac{5}{4}x_5 \\ x_3 \\ x_4 \\ x_5 \end{pmatrix} \]

进一步整理可以得到：

\[ \begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5 \end{pmatrix} = \begin{pmatrix} \frac{9}{4}x_3 + \frac{3}{4}x_4 - \frac{1}{4}x_5 \\ -\frac{3}{4}x_3 + \frac{7}{4}x_4 - \frac{5}{4}x_5 \\ x_3 + 0x_4 + 0x_5 \\ 0x_3 + x_4 + 0x_5 \\ 0x_3 + 0x_4 + x_5 \end{pmatrix} \]

这个解可以进一步分解为：

\[ \begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5 \end{pmatrix} = \begin{pmatrix} \frac{9}{4}x_3 - \frac{3}{4}x_3 \\ \frac{3}{4}x_4 + \frac{7}{4}x_4 \\ x_3 \\ 0x_4 \\ 0x_5 \end{pmatrix} + \begin{pmatrix} \frac{3}{4}x_4 \\ \frac{7}{4}x_4 \\ 0x_4 \\ x_4 \\ 0x_4 \end{pmatrix} + \begin{pmatrix} -\frac{1}{4}x_5 \\ -\frac{5}{4}x_5 \\ 0x_5 \\ 0x_5 \\ x_5 \end{pmatrix} \]

简化后可以表示为：

\[ \begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5 \end{pmatrix} = \begin{pmatrix} \frac{9}{4} & -\frac{3}{4} & 1 & 0 & 0 \\ \frac{3}{4} & \frac{7}{4} & 0 & 1 & 0 \\ -\frac{1}{4} & -\frac{5}{4} & 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} x_3 \\ x_4 \\ x_5 \end{pmatrix} \]

即：

\[ \begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5 \end{pmatrix} = x_3 \eta_1 + x_4 \eta_2 + x_5 \eta_3 \]

其中：

\[ \eta_1 = \begin{pmatrix} \frac{9}{4} \\ -\frac{3}{4} \\ 1 \\ 0 \\ 0 \end{pmatrix}, \eta_2 = \begin{pmatrix} \frac{3}{4} \\ \frac{7}{4} \\ 0 \\ 1 \\ 0 \end{pmatrix}, \eta_3 = \begin{pmatrix} -\frac{1}{4} \\ -\frac{5}{4} \\ 0 \\ 0 \\ 1 \end{pmatrix} \]

因此，任意解 \(x_1, x_2, x_3, x_4, x_5\) 都可以表示为 \(\eta_1, \eta_2, \eta_3\) 的线性组合。

综上所述，所以 \(\eta_1, \eta_2, \eta_3\) 就是方程组的一个基础解系。

自由未知量取值的选择

你是否想过，为什么自由未知量取 \((1, 0, 0)\), \((0, 1, 0)\), \((0, 0, 1)\) 能行，那是不是只能取这种情况呢？其实不是，比如取 \((1, 0, 0)\), \((1, 1, 0)\), \((1, 1, 1)\) 代进去，也会求出来三个解，而这三个解可以证明，也是方程组的一个基础解系。

其实，自由未知量取的向量，只要是线性无关的，最终得出的结果都是方程组的一个基础解系。

那为什么要取 \((1, 0, 0)\), \((0, 1, 0)\), \((0, 0, 1)\) 呢？因为取这三个向量，计算起来最简单。

上题中 \(x_3, x_4, x_5\) 是自由未知量，所以取 \((1, 0, 0)\), \((0, 1, 0)\), \((0, 0, 1)\)。那么，如果某题解出来后，\(x_3, x_4, x_5, x_6\) 是自由未知量，其值怎么取呢？

取值为 \((1, 0, 0, 0)\), \((0, 1, 0, 0)\), \((0, 0, 1, 0)\), \((0, 0, 0, 1)\)，同理，若有5个或以上的自由未知量也依次类推。

如果2个自由未知量，则取 \((1, 0)\), \((0, 1)\)，那么，若只有1个自由未知量呢？是取 \((1)\) 还是 \((0)\) 呢？答案是取 \((1)\)，不能取 \((0)\)。