$RSS(f)=\sum_i^N \left(y_i-f(x_i)\right)^2$ 当数据量足够大时,数据存在相同$x_i$,不同$y_{il},l=1\cdots t$ 则得到的f即为条件均值$E(y|X=x)$的无偏估计 任意的一个$\hat{f}$都可以是一个特定的解,所以有无限多个解 其中会有有些解在训练集上表现不错,而在测试集上表现不好 为了得到可行的解,需要加上一些限制 对函数f的限制,比如linear regression限制函数为线性的;KNN限制为在某邻居区域内,函数为常数…