究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
现在流行的少儿编程是不是收智商税？技术产业每十五年就出现一个新的中心，智能手机之后，下一个「大事物」会是什么呢？
以目前的科技水平，做销售，在AI的哪个应用领域发展更好些？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
编程达到什么水平才能编写出像caffe这样的深度学习框架？
如何把文章写的所有人都看不懂？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
一个人能否实现自己转动螺旋桨从而上天？实现需要什么条件？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
如何不求导求 cos³x+sin³x 的最大值？该函数的最小值是多少?应该怎么解？思路是什么？
如何看待国务院印发的 2 万多字人工智能发展规划？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
如何看待End-to-End Object Detection with Transformers？
神经元之间的连接方式是怎样的，感觉如果按树突到轴突方式(多冲动聚为一个冲动)的话连接只会越连越少啊？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
如何评价小米开源的移动端深度学习框架MACE？
蒙特卡罗算法是什么？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
计算机视觉是否已经进入瓶颈期？
为什么 AlphaGo 不敢挑战麻将？
为什么有些函数经过二次求导后又回到了原函数？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
科学的发展能否完全掌握人类的脑行为，并最终用人工智能技术实现人类的全部意识活动？
民航客机距离完全不需要飞行员的自动驾驶还有多远？
假如达到强人工智能，岂不是可以认为人也是由代码构成，甚至能由代码解析？
此函数式如何求最小值？
如何简单形象又有趣地讲解神经网络是什么？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
有哪些比较好的机器学习，深度学习的网络资源可利用？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
如何看待SQuAD比赛中，阿里、MSRA机器阅读理解准确率超越人类？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
如何用一句话证明自然语言处理很难？
在开区间上无界的连续函数一定不一致连续吗？
请问数学的函数和编程语言的函数有什么区别呢？
大数定律具体是个什么概念？
有哪些比较好的元学习（meta learning）领域的学习资源？