总结
| 代价函数 | 选择 |
|---|---|
| binary cross entropy | 典型选择：二元分类 |
| cross entropy | 典型选择：多元分类 |
| mse | 典型选择：线性回归 |
Softmax Loss
Softmax Loss 是由 softmax 和 cross entropy loss 组合而成，在 pytorch，caffe，tensorflow 等开源框架的实现中，直接将二者合并在一层。如在 pytorch 中不需要再输出层加上 softmax 层用于分类，直接使用 cross entropy loss 即可。
各类代价函数
方差、协方差、标准差、均方差、均方根值、均方误差、均方根误差 L1正则和L2正则的比较分析详解
各类距离公式
补充
| 名称 | 英文 | 公式 | 别称 |
|---|---|---|---|
| 残差平方和 SSE | Sum of Squares for Error | SSE = \(\sum^m_{i=1}(y_i - \hat{y}_i)^2\) | 剩余平方和 RSS |
| 回归平方和 SSR | Sum of Squares for Regression | SSR = \(\sum^m_{i=1}(\hat{y}_i - \bar{y})^2\) | 解释平方和 ESS |
| 总离差平方和 SST | Sum of Squares for Total | SST = \(\sum^m_{i=1}(y_i - \bar{y})^2\) | 总离差平方和 TSS |
三者之间的关系是 SST = SSR + SSE \(R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}\)
