究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？「费米悖论」大过滤器假说中的大过滤器可能有哪些？
现在比较成熟的人工智能产品都有哪些？价格贵不贵？
如果利用人工智能程序找到一个未见过的好听的和弦进行，但在现有乐理上得不到解释，你们会怎样看待？
ICLR 2021 有什么值得关注的投稿？
神经网络的万能逼近定理已经发展到什么地步了？
机器人可以拥有人的情感吗？
如何评价李开复称「ICO 是最大的泡沫，可能导致 AI 泡沫破裂」?
靠 AI 来实行计划经济可行吗？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
如何看待Google下一代人工智能架构Pathways?如何看待蚂蚁金服原副总裁漆远离职阿里，入职复旦大学、回归学术界？
为什么deep lab v3起，输出不再接 DenseCRF了？
中信出版集团提问：如果《人类简史》和《未来简史》的作者尤瓦尔要举办一场读（记）者见面会邀请你去参加，你最想问他什么问题？
CVPR 2018 有什么值得关注的亮点？
有哪些未来人工智能的职位适合经济专业？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
人工智能在生活中的应用都有哪些？
如何看待多所 985 大学开设人工智能专业？
CPU和GPU跑深度学习差别有多大？
如何评价MXNet发布的1.0版本？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
在现阶段的神经科学和脑科学的研究中，有没有人脑结合 AI（人工智能）的方向？
如何评价 MLSys 这个会议？
如何看待大热的人工智能机器人 Sophia？
哥哥贷款炒股亏了70万，父母都是农民，为此我大一辍学，有什么办法能挽救我们家？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
当前（2020年）机器学习中有哪些研究方向特别的坑？
有哪些科技公司从辉煌到衰落？因为什么原因？
如何理解 Graph Convolutional Network（GCN）？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何看待浙江小学生被戴上头环，被实时监测上课是否走神？
很多人类以为的惊天妙手在AI处被证实为很普通甚至更差。为何那么多人都看不出皇帝的新装？
深度学习做股票预测靠谱吗？
如何看待「腾讯首席探索官」网大为发起拍摄纪录片《零水日》，你觉得还有哪些问题值得关注？
A*寻路是一种广度优先搜索？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
为什么dropout正则化经常在视觉方面使用而不是其他？