机器学习中常用的损失函数你知多少？

机器通过损失函数进行学习。这是一种评估特定算法对给定数据建模程度的方法。如果预测值与实际结果偏离较远，损失函数会得到一个非常大的值。在一些优化函数的辅助下，损失函数逐渐学会减少预测值的误差。本文将介绍几种损失函数及其在机器学习和深度学习领域的应用。

成都创新互联公司从2013年创立，是专业互联网技术服务公司，拥有项目成都网站建设、成都网站设计网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元临桂做网站,已为上家服务,为临桂各地企业和个人服务,联系电话:18982081108

损失函数和优化

没有一个适合所有机器学习算法的损失函数。针对特定问题选择损失函数涉及到许多因素，比如所选机器学习算法的类型、是否易于计算导数以及数据集中异常值所占比例。

从学习任务的类型出发，可以从广义上将损失函数分为两大类——回归损失和分类损失。在分类任务中，我们要从类别值有限的数据集中预测输出，比如给定一个手写数字图像的大数据集，将其分为 0～9 中的一个。而回归问题处理的则是连续值的预测问题，例如给定房屋面积、房间数量以及房间大小，预测房屋价格。

 
 
 
 
    
  
  
  
  
  1. NOTE 
    2. 
  
  
  
  
  2.         n        - Number of training examples.
    3. 
  
  
  
  
  3.         i        - ith training example in a data set.
    4. 
  
  
  
  
  4.         y(i)     - Ground truth label for ith training example.
    5. 
  
  
  
  
  5.         y_hat(i) - Prediction for ith training example.
    6.

回归损失

1. 均方误差/平方损失/L2 损失

数学公式：

均方误差

顾名思义，均方误差(MSE)度量的是预测值和实际观测值间差的平方的均值。它只考虑误差的平均大小，不考虑其方向。但由于经过平方，与真实值偏离较多的预测值会比偏离较少的预测值受到更为严重的惩罚。再加上 MSE 的数学特性很好，这使得计算梯度变得更容易。

 
 
 
 
    
  
  
  
  
  1. import numpy as np
    2. 
  
  
  
  
  2. y_hat = np.array([0.000, 0.166, 0.333])
    3. 
  
  
  
  
  3. y_true = np.array([0.000, 0.254, 0.998])
    4. 
  
  
  
  
  4. def rmse(predictions, targets):
    5. 
  
  
  
  
  5.     differences = predictions - targets
    6. 
  
  
  
  
  6.     differencesdifferences_squared = differences ** 2
    7. 
  
  
  
  
  7.     mean_of_differences_squared = differences_squared.mean()
    8. 
  
  
  
  
  8.     rmse_val = np.sqrt(mean_of_differences_squared)
    9. 
  
  
  
  
  9.     return rmse_val
    10. 
  
  
  
  
  10. print("d is: " + str(["%.8f" % elem for elem in y_hat]))
    11. 
  
  
  
  
  11. print("p is: " + str(["%.8f" % elem for elem in y_true]))
    12. 
  
  
  
  
  12. rmsermse_val = rmse(y_hat, y_true)
    13. 
  
  
  
  
  13. print("rms error is: " + str(rmse_val))
    14.

2. 平均绝对误差/L1 损失

数学公式：

平均绝对误差

平均绝对误差(MAE)度量的是预测值和实际观测值之间绝对差之和的平均值。和 MSE 一样，这种度量方法也是在不考虑方向的情况下衡量误差大小。但和 MSE 的不同之处在于，MAE 需要像线性规划这样更复杂的工具来计算梯度。此外，MAE 对异常值更加稳健，因为它不使用平方。

 
 
 
 
    
  
  
  
  
  1. import numpy as np
    2. 
  
  
  
  
  2. y_hat = np.array([0.000, 0.166, 0.333])
    3. 
  
  
  
  
  3. y_true = np.array([0.000, 0.254, 0.998])
    4. 
  
  
  
  
  4. 
  
  
  
  
  5. print("d is: " + str(["%.8f" % elem for elem in y_hat]))
    6. 
  
  
  
  
  6. print("p is: " + str(["%.8f" % elem for elem in y_true]))
    7. 
  
  
  
  
  7. 
  
  
  
  
  8. def mae(predictions, targets):
    9. 
  
  
  
  
  9.     differences = predictions - targets
    10. 
  
  
  
  
  10.     absolute_differences = np.absolute(differences)
    11. 
  
  
  
  
  11.     mean_absolute_differences = absolute_differences.mean()
    12. 
  
  
  
  
  12.     return mean_absolute_differences
    13. 
  
  
  
  
  13. maemae_val = mae(y_hat, y_true)
    14. 
  
  
  
  
  14. print ("mae error is: " + str(mae_val))
    15.

3. 平均偏差误差(mean bias error)

与其它损失函数相比，这个函数在机器学习领域没有那么常见。它与 MAE 相似，唯一的区别是这个函数没有用绝对值。用这个函数需要注意的一点是，正负误差可以互相抵消。尽管在实际应用中没那么准确，但它可以确定模型存在正偏差还是负偏差。

数学公式：

平均偏差误差

二、分类损失

1. Hinge Loss/多分类 SVM 损失

简言之，在一定的安全间隔内(通常是 1)，正确类别的分数应高于所有错误类别的分数之和。因此 hinge loss 常用于***间隔分类(maximum-margin classification)，最常用的是支持向量机。尽管不可微，但它是一个凸函数，因此可以轻而易举地使用机器学习领域中常用的凸优化器。

数学公式：

SVM 损失(Hinge Loss)

思考下例，我们有三个训练样本，要预测三个类别(狗、猫和马)。以下是我们通过算法预测出来的每一类的值：

Hinge loss/多分类 SVM 损失

计算这 3 个训练样本的 hinge loss：

 
 
 
 
    
  
  
  
  
  1. ## 1st training example
    2. 
  
  
  
  
  2. max(0, (1.49) - (-0.39) + 1) + max(0, (4.21) - (-0.39) + 1)
    3. 
  
  
  
  
  3. max(0, 2.88) + max(0, 5.6)
    4. 
  
  
  
  
  4. 2.88 + 5.6
    5. 
  
  
  
  
  5. 8.48 (High loss as very wrong prediction)
    6. 
  
  
  
  
  6. ## 2nd training example
    7. 
  
  
  
  
  7. max(0, (-4.61) - (3.28)+ 1) + max(0, (1.46) - (3.28)+ 1)
    8. 
  
  
  
  
  8. max(0, -6.89) + max(0, -0.82)
    9. 
  
  
  
  
  9. 0 + 0
    10. 
  
  
  
  
  10. 0 (Zero loss as correct prediction)
    11. 
  
  
  
  
  11. ## 3rd training example
    12. 
  
  
  
  
  12. max(0, (1.03) - (-2.27)+ 1) + max(0, (-2.37) - (-2.27)+ 1)
    13. 
  
  
  
  
  13. max(0, 4.3) + max(0, 0.9)
    14. 
  
  
  
  
  14. 4.3 + 0.9
    15. 
  
  
  
  
  15. 5.2 (High loss as very wrong prediction)
    16.

交叉熵损失/负对数似然：

这是分类问题中最常见的设置。随着预测概率偏离实际标签，交叉熵损失会逐渐增加。

数学公式：

交叉熵损失

注意，当实际标签为 1(y(i)=1) 时，函数的后半部分消失，而当实际标签是为 0(y(i=0)) 时，函数的前半部分消失。简言之，我们只是把对真实值类别的实际预测概率的对数相乘。还有重要的一点是，交叉熵损失会重重惩罚那些置信度高但是错误的预测值。

 
 
 
 
    
  
  
  
  
  1. import numpy as np
    2. 
  
  
  
  
  2. predictions = np.array([[0.25,0.25,0.25,0.25],
    3. 
  
  
  
  
  3.                         [0.01,0.01,0.01,0.96]])
    4. 
  
  
  
  
  4. targets = np.array([[0,0,0,1],
    5. 
  
  
  
  
  5.                    [0,0,0,1]])
    6. 
  
  
  
  
  6. def cross_entropy(predictions, targets, epsilon=1e-10):
    7. 
  
  
  
  
  7.     predictions = np.clip(predictions, epsilon, 1. - epsilon)
    8. 
  
  
  
  
  8.     N = predictions.shape[0]
    9. 
  
  
  
  
  9.     ce_loss = -np.sum(np.sum(targets * np.log(predictions + 1e-5)))/N
    10. 
  
  
  
  
  10.     return ce_loss
    11. 
  
  
  
  
  11. cross_entropycross_entropy_loss = cross_entropy(predictions, targets)
    12. 
  
  
  
  
  12. print ("Cross entropy loss is: " + str(cross_entropy_loss))
    13.

【本文是专栏机构“机器之心”的原创文章，微信公众号“机器之心( id: almosthuman2014)”】

网页标题：机器学习中常用的损失函数你知多少？
URL链接：http://www.shufengxianlan.com/qtweb/news36/74736.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

网站营销知识

同城分类信息

网站设计　　 　彭州做网站　　 　电信成都枢纽中心　　 　达州网站建设　　 　服务器机柜　　 　成都VI设计　　 　app软件开发　　 　成都棕树机房　　 　成都展柜厂　　 　抖音短视频拍摄　　 　成都定制网站　　 　木包装箱　　 　格蓝特设备　　 　长城雪茄　　 　古蔺网站建设　　 　攀枝花网站建设　　 　手机网站　　 　绵阳服务器托管　　 　简阳网站制作　　 　手机APP开发