第4章　回归

已知的N个观测值，但不知，这里f称为期望回归函数，试求，这个问题为回归问题。显然，只表示一个类。因此，U=V自然成立，可以不予考虑。假设学到的输出类内部表示为，其中F称为学到的回归函数。

令，其中F是回归函数，，易知，回归的输入可以表示为，其输出可以表示为。因此，回归也可以看作单类归类问题。

由于所有点都属于同一类，易证且。但是，一般情况下，。故类表示唯一公理不成立。根据类一致性准则，一个好的类表示应该最小化目标函数（4.1）：

由于f未知，直接计算是不可能的。但是，由于知道f的N个样本值，可以近似估计。显然，的不同近似估计将导出不同的回归模型。通常可以定义。