crackcell's dustbin home projects
首页 > 机器学习回顾:内积空间的基本概念 > 正文

机器学习回顾:内积空间的基本概念

1 点积(dot product)

先来看点积的定义。

对于2个向量 \(x,y \in \mathbb{R}^n\) , x和y的点积( \(x \cdot y\) )定义为:

\begin{eqnarray} x \cdot y = x_1y_1 + \cdots + x_ny_n \end{eqnarray}

1.1 点积的几何意义

点积在几何上表示y在x上的投影,长度等于:

\begin{eqnarray} x \cdot y = \left| x \right| \left| y \right| \cos{\theta} \end{eqnarray}

\(\theta\) 是x和y的夹角。

2 内积(inner product)

内积是对点积的推广。

V上的内积就是一个函数,它把V中的元素的每个有序对 \((u,v)\) 都映射成一个数字 \(\left< x,y \right> \in \mathbb{F}\) ,并具备如下性质:

  1. 正性(positivity):对所有的 \(v \in V\) 均有 \(\left< v,v \right> \ge 0\)
  2. 定性(definiteness): \(\left< v,v \right>=0\) 当且仅当 \(v=0\)
  3. 第一个位置的加性(additivity in first slot):对所有的 \(u,v,w \in V\) ,均有 \(\left< u+v,w \right> = \left< u,w \right> + \left< v,w \right>\)
  4. 第一个位置的齐性(homogeneity in first slot):对所有的 \(\lambda \in \mathbb{F}\) 和所有的 \(u,v \in V\) ,均有 \(\left< \lambda u,v \right> = \lambda \left< u,v \right>\)
  5. 共轭对称性(conjugate symmetry):对所有的 \(u,v \in V\) 均有 \(\left< u,v \right> = \overline{\left< v,u \right>}\)

3 内积空间

内积空间就是带有内积的向量空间。

4 范数(norm)

定义内积的最初动机来源于定义范数。

5 正交

\begin{eqnarray} \left< u,v \right> = 0 \end{eqnarray}

6 规范正交(orthonormal)

向量组中每个向量的范数都是1且与其它向量正交。

7 规范正交基(orthonormal basis)

V的规范正交基是V中的规范正交向量组构成的基。

8 线性泛函(linear functional)

V上的线性范函是从V到F的线性映射。

9 里斯表示定理

设V是有限维的且 \(\varphi\) 是V上的线性泛函,则存在唯一的向量 \(u \in V\) 使得对每个 \(v \in V\) 均有 \(\varphi(v) = \left< v,u \right>\) 。

表示,线性泛函可以转换成向量的内积。

Date: Mon Jun 18 15:44:50 2018

Author: Menglong TAN

Created: 2018-06-22 Fri 16:29

Validate

Modified theme and code from Tom Preston-Werner.