A.6 几何向量
在讲解回归的第 2 章中出现的向量，在讲解分类的第 3 章中又出现了。在分类中出现的向量的几何意义较强，而且向量之间的加减法、内积和法线等概念都出现了。忘了向量基础知识的读者，可以在这里一起来复习一下向量的几何意义。在分类那一章我们主要接触的是二维向量，所以这里讲解时用到的也全部是二维向量。
向量拥有大小和方向。在高中，我们学过像图 A-10 这样用箭头来表示的二维向量。
图 A-10
另外，向量可以写成下面这样纵向排列的形式。这样的向量被称为列向量。这个在回归那一章也出现过。
如果用几何语言表示向量的加法和减法，那么加法是让箭头相连，而减法是逆转向量的方向之后再让箭头相连（图 A-11）。
图 A-11
这个计算在代数上只是做了向量中各元素的相加和相减而已。
既然向量之间存在和与差，那么向量之间的积呢？向量之间的积确实也存在，但是它不像和与差那样简单，不是元素之间相乘就行了。关于向量之间的积，存在称为内积的定义。内积是向量间定义的一种积运算，对于二维向量来说，可以用下面的表达式来计算。
上一小节在讲解表达式 A.5.8 时，提到过将一个向量转置之后再计算积的做法与内积的计算相同。从这里就可以看出，两个表达式确实是相同的。下面具体地计算一下 和
的内积。
计算结果为 9。像这样，计算向量内积之后得到的已经不是向量，而是普通的数字（大小）了。这种普通数字有一个稍微生僻一点的叫法——标量。所以内积也可以被称为标量积。另外，由于内积的运算符号不是乘法符号“×”，而是点“·”，所以有时它也被称为点积。
另外，假设向量 和
之间的夹角为
，那么内积也可以这样表示（图 A-12）。
图 A-12
这里出现的 表示向量的长度。假如有向量
，那么向量长度可以如下定义。
由于这是把向量的元素分别平方之后再相加而得到的结果，所以必定为大于 0 的数。这一点很重要，请务必牢记。
另外，cos 是三角函数的一种，也被称为余弦函数等。这里就不详细展开介绍三角函数了，不过回忆起 cos 函数的图形就可以很轻松地从图形的角度解释向量内积，所以在这里我们先争取做到这一点。设 为横轴、
为纵轴，那么 cos 函数的图形如图 A-13 所示。它在正文中也出现过。
图 A-13
这是一个非常光滑的图形。它的特点是在 为 90°和 270°时
，
的符号以这两个点为界限发生变化。这个特点在解释向量的几何意义时经常使用，请牢记。
最后，让我们了解一下法线。它在用感知机寻找分类数据的分界直线时出现过。法线向量指的是与某条直线相垂直的向量（图 A-14）。
图 A-14
假设图中直线的表达式为 ，那么这时的法线向量
为
。