crackcell's dustbin home projects
首页 > 机器学习回顾:矩阵在线性代数中的作用 > 正文

机器学习回顾:矩阵在线性代数中的作用

1 前言

不知道为啥,国内的线性代数教材讲矩阵都喜欢从行列式开始切入,但个人感觉这非常不易于理解,不那么“直观”。1这本书就非常好,直接点出了矩阵的“直觉”:记录线性映射。本文也尝试从这个角度,再一次理解矩阵相关的运算。

2 用矩阵表示线性映射

先约定几个符号:

  • 线性变换T是从空间V到W的线性映射 \(T \in L(V,W)\)
  • \((v_1,...,v_n)\) 是V的基, \((w_1,...,w_m)\) 是W的基

那么对于每个v的线性映射( \(k=1, \cdots, n\) ),都可以用w来表示:

\begin{eqnarray} Tv_k=a_{1,k}w_1+ \cdots +a_{m,k}w_m \end{eqnarray}

我们把这样的信息保存在一个 \(m \times n\) 的矩阵中:

\begin{bmatrix} a_{1,1} & \cdots & a_{1,n} \\ \cdots & a_{j,k} & \cdots \\ a_{m,1} & \cdots & a_{m,n} \end{bmatrix}

这样就将线性映射信息用矩阵表示好了,接下来,我们尝试将线性映射的相关运算也施加到矩阵上来。

3 用矩阵相加表示映射的相加

\begin{eqnarray} M(T+S)=M(T)+M(S) \end{eqnarray}

4 用矩阵标量乘表示映射的伸缩

\begin{eqnarray} M(cT)=cM(T) \end{eqnarray}

5 用矩阵乘表示映射的嵌套

定义2个首尾接着的线性映射S和T,以及一个合并后的映射TS:

  • \(T: U \rightarrow V\)
  • \(S: V \rightarrow W\)
  • \(ST: U \rightarrow W\)
  • U的基 \((u_1, \cdots, u_p)\)
  • V的基 \((v_1, \cdots, v_n)\)
  • W的基 \((w_1, \cdots, w_m)\)

假设:

  • \(M(S)=A\)
  • \(M(T)=C\)
  • \(1 \le k \le p\)
  • \(1 \le r \le n\)
  • \(1 \le j \le m\)

来推导矩阵的表示:

\begin{eqnarray} ST(u_k) & = & S(T(u_k)) \\ & = & S(\sum_{r=1}^{n}C_{r,k}v_r) \\ & = & \sum_{r=1}^{n}C_{r,k}S(v_r) \\ & = & \sum_{r=1}^{n}C_{r,k}\sum_{j=1}^{m}A_{j,r}w_j \\ & = & \sum_{j=1}^{m}(\sum_{r=1}^{n}A_{j,r}C_{r,k})w_j \end{eqnarray}

观察上面式子,M(ST)的元素就是:

\begin{eqnarray} (AC)_{j,k}=\sum_{r=1}^{n}A_{j,r}C_{r,k} \end{eqnarray}

所以:

\begin{eqnarray} M(ST)=M(S)M(T) \end{eqnarray}

6 用矩阵乘表示向量的线性组合

  • A是一个 \(m \times n\) 矩阵
  • c是一个 \(n \times 1\) 矩阵

那么:

\begin{eqnarray} Ac = c_1A_{\cdot,1} + \cdots + c_nA_{\cdot,n} \end{eqnarray}

Ac是A的列向量的线性组合。

7 用矩阵乘表示向量

向量v表示成矩阵,就是一个 \(n \times 1\) 的列矩阵:

\begin{eqnarray} M(v) = \begin{bmatrix} c_1 \\ \vdots \\ c_n \end{bmatrix} \end{eqnarray}

这里的c是组成v的系数:

\begin{eqnarray} v = c_1v_1 + \cdots + c_nv_n \end{eqnarray}

8 用矩阵乘表示线性映射

设 \(T \in L(V,W)\) , \(v \in V\) , \(v_1, \cdots, v_n\) 是V的基, \(w_1, \cdots, w_m\) 是W的基,则:

\begin{eqnarray} M(Tv)=M(T)M(v) \end{eqnarray}

Footnotes:

1

Sheldon Axler, Linear Algebra Done Right.

Date: Tue Jun 12 00:55:44 2018

Author: Menglong TAN

Created: 2018-06-21 Thu 00:55

Validate

Modified theme and code from Tom Preston-Werner.