1.4回归问题及其性能评价

回归分析(regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

与分类问题不同，回归通常输出为一个实数数值。而分类的输出通常为若干指定的类别标签。

回归性能度量方法

平均绝对误差MAE
MAE (Mean absolute error)是绝对误差损失(absolute error loss)的期望值。

如果y^是第i个样本的预测值, yi是相应的真实值，那么在n samples个测试样本上的平均绝对误差(MAE) 的定义如下:

均方差MSE
MSE(Mean squared error),该指标对应于平方误差损失(squared error loss)的期望值。

均方根差RMSE: Root Mean Squared Error, RMSE,是MSE的平方根。

以n=1为例：

logistic回归损失(二类)
简称Log loss，或交叉熵损失(cross-entropy loss)
■常用于评价逻辑回归LR和神经网络


logistic回归损失(多类)
对于多类问题(multiclass problem),可将样本的真实标签(true label)编码成1-of-K (K为类别总数)的二元指示矩阵Y:

1.5一致性的评价方法

一致性评价：是指对两个或多个相关的变量进行分析,从而衡量其相关性的密切程度。

问题：

一致性评价——皮尔森相关系数法
皮尔森相关系数(Pearson coefficient)的应用背景:
■用来衡量两个用户之间兴趣的一致性
■用来衡量预测值与真实值之间的相关性
■既适用于离散的、也适用于连续变量的相关分析

取值区间为[-1，1]。-1: 完全的负相关，+1: 表示完全的正相关，0:没有线性相关

一致性评价——Cohen’s kappa相关系数
●Cohen’skappa相关系数也可用于衡量两个评价者之间的一.致性。其特点在于:
■与pearson相关系数的区别: Cohen’s kappa相关系数通常用于离散的分类的一致性评价。
■其通常被认为比两人之间的简单一致百分比更强壮，因为Cohen’s kappa考虑到了二人之间的随机一致的可能性。

如果评价者多于2人时，可以考虑使用Fleiss’ kappa.

Cohen’s kappa计算方法

Cohen’s kappa取值的一致性含义

Fleiss’ kappa相关系数

以上是14个评价者对10个item进行5级评价的结果(N=10， n=14， k=5)
则计算Fleiss Kappa相关系数的过程为: