究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
如何看待手机越出越智能，老人使用难度越来越大的现象?如何评价通信工程很多导师都研究机器学习人工智能而不是传统的天线电磁场等方向?
未来 50 年，哪些职业是一定不会被 AI（人工智能）取代的？
所谓大数据分析，究竟要学什么？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价教育部发文：AI、算法等2018年进入全国高中课程？
如何评价傅盛的猎豹机器人之夜？
究竟什么是损失函数 loss function?
如何看待兼修网络安全和人工智能?
为什么在脸部打马赛克的时候通常选择在眼部？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
如何评价刘慈欣加入商汤科技，任职「商汤科技科幻星球研究中心主任」？他将给商汤科技带来哪些变化？如何理解今年发表在JMLR上随机森林算法SPORF？
请问有哪些最优化算法可以做全局优化？
能否介绍一下强化学习（Reinforcement Learning），以及与监督学习的不同？
wasserstein 距离的问题?
机器学习，深度神经网络等方法是否是正确的方向？
最近在知乎投广告的 Rokid 是什么来头？号称国产 AI 智能产品，技术上有这么厉害？
数学家们用不等式做什么？
数学家们用不等式做什么？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
如何看待End-to-End Object Detection with Transformers？
如何进行图像模糊与清晰的分类？
原函数是周期函数，为什么积分后函数不一定是周期函数？
心理咨询师会被人工智能取代吗？
目前为止，中国科技发展可提速的方向有哪些？
人工智能退潮期来了吗？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
如何评价caffe作者贾扬清加入Facebook?
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
强化学习和自适应控制的关系是什么？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
各类科研领域中哪些公式，原理或定律的推出，用到了有趣的思维方式？
人类目前能实现微型的力场护盾技术吗？
为何感觉“知识蒸馏”这几年没有什么成果？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
百度在深度学习上使用Xilinx FPGA?
自监督学习（Self-supervised Learning）有什么比较新的思路？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？