3.3　范数

范数（Norm）是一种定义在赋范线性空间中的函数，在机器学习中为了防止过拟合或使解可逆而引入范数，用范数衡量向量或矩阵的大小。范数包括向量范数和矩阵范数，向量范数表示向量空间中向量的大小，矩阵范数表示矩阵引起变化的大小。

监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差是为了让模型拟合训练数据，而规则化参数是为了防止模型过拟合训练数据。在参数较多时，模型复杂度会极剧上升，容易出现过拟合，即模型的训练误差小，测试误差大。因此，需要尽可能降低模型的复杂程度，并在此基础上降低训练误差，这样才能保证优化后的模型测试误差也小。可以通过规则函数来降低模型的复杂程度。

规则化项可以是模型参数向量的范数，如L0、L1、L2等。本节将分别对向量范数和矩阵范数进行讲解。