究竟什么是损失函数 loss function? 第1页
1
david-kz 网友的相关建议:
损失函数不是一个严格的定义，或者你可以说，它和目标函数类似，就是一个用于极小化的函数。
目标函数是优化领域的叫法，不论是机器学习、传统优化、最优控制，只要问题可以写成min或者max开头的都是优化问题，那个极小化的函数就是目标函数。
损失函数在统计学习领域用的比较多，但是也只是一个用于最小化的函数，其结构并没有特别的形式，想怎么设计怎么设计。只要能让这个函数满足如下两点：
- 函数可以表达整个系统的所有合法状态；
- 函数可以衡量系统的某一指标，使得其最小值是人们对系统的期望状态。
和算法也没有关系，只是神经网络领域多用梯度下降、反向传播，但是叫什么函数和算法无关。
由于存在大量学科交叉，比如搞优化的去做神经网络，搞统计的来做传统优化等等，所以术语abuse的情形非常常见，目标函数-损失函数这个只是其中之一。由于优化问题框架广泛见于各种领域，尤其是工科领域，每个领域往往都会有自己对各个术语的叫法，弄清楚指的是什么即可，不用太纠结于细节定义。
1
相关话题
如何看待阿里达摩院研发的新冠肺炎 CT 影像 AI 诊断技术，平均识别不到 20 秒准确率达 96%？对于人类的未来而言，星辰大海和虚拟现实，哪个才是更有意义的发展方向？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
深度学习方面还有什么Open Problem?
如何看待MXNet在CVPR2017上公布的gluon接口？
神经网络中的能量函数是如何定义的？
如何制作个人学术主页？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
马斯克的星链计划会对 5G 产生重大威胁吗？
下一个讨论
数据库的冗余度是不是越小越好？
相关的话题
现代的人工智能机器人是采用什么编程语言来写系统的？为什么不训练黑猩猩来代替人民从事体力和简单重复操作呢？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
如何评价MSRA最新的 Relation Networks for Object Detection？
战锤40k人工智能为什么一定会叛变？
为什么 AlphaGo 不敢挑战麻将？
能分享你收藏的国外AI talk, seminar平台或网站吗？
目前，人工智能聊天机器人能在多大程度上代替企业客服？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
高度自动化、智能化的未来世界，什么样的体制可以确保普通人类不被边缘化？
CVPR 2018 有什么值得关注的亮点？
一觉醒来，你发现自己的爱人是人工智能，你是否会和TA继续爱情？
如何走通企业数智化落地的“最后一公里”，让无人工厂不再纸上谈兵？
清华首个虚拟学生华智冰演唱视频遭质疑，小冰回应称并非仅仅 AI 换脸，对此你怎么看？
腾讯自己也做芯片，为什么还投资AI/DPU等初创公司？他们之间会不会成为下一个华为和寒武纪？
如何评价李开复称「如果对AI取代人毫无作为，人类将面临灾难」?
ICML2020有哪些值得关注的工作?
Batch Normalization 训练的时候为什么不使用 moving statistics？
医疗影像AI发展的核心技术是什么？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
迁移学习入门，新手该如何下手？
目前强化学习在控制领域的应用有哪些？
为什么硅谷的人在造火箭，搞人工智能，虚拟现实生物工程，而我们却在玩互联网？
能否使用区块链的算力来解决深度学习训练？
为什么中文 NLP 数据集这么少？
“意识上传”是否可以实现，以什么技术方式实现？
科大讯飞用人类翻译的内容冒充智能 AI 同传一事是否属实？AI 同传「造假」是否普遍？