机器学习-模型评估与选择

错误率：E=a/m
训练误差|经验误差：学习器在训练集上的误差
泛化误差：学习器在新样本上的误差

评估方法

• 留出法 ：将两个数据集D。
• 交叉验证法：将数据集D有m个样本，m=k,得到特殊情况————留一法)
• 自助法：数据集D。
  论证：每一样本一次被获取的概率都为1m

评价：

• 留出法与交叉验证：由于保留了一部分数据集作为验证，必然会引入因为训练样本规模不同而导致的估计偏差。
• 留一法：受样本规模影响小，但计算复杂度太高。
• 自助法：数据集较小、难以有效划分训练/测试集时有用

性能度量

均方误差：E(f:D)=1m∑mi=1(f(xi)−yi)2

更一般的：E(f:D)=∫x∼D(f(x)−y)2p(x)dx

查准率、查全率、F1

P　　　预测为真中实际真的概率
R　　　所有真的预测到正确为真的概率

查准率与查全率是一对矛盾的度量：好瓜尽量多的选出来，查准率就低了；选出的瓜好瓜多，查全率低了。
F1度量 1F1=12⋅(1P+1R)
一般形式 1Fβ=11+β2⋅(1P+β2R)时查准率影响更高

假设检验

二项检验、t检验、交叉验证t检验、McNemar检验(τ2χ)、Friedman检验(F)、Nemenyi检验

偏差与方差

偏差(bias)：期望输出与真实标记的差别，刻画学习算法本身的拟合能力　　bias2(x)=(f¯(