是不是并不是所有问题都适合用神经网络预测？ 第1页
1
yukio-2 网友的相关建议:
- 小样本情况，无论是低维还是高维，不如SVM和贝叶斯模型
- 低维数据，大样本量，不如各种ensemble类算法
- 以上主要问题在于过拟合，传统机器学习算法大部分对过拟合都有比较合理的解决方案，而神经网络基本只靠heuristic。dropout虽然在Bayesian deep learning里面有不错的意义，但只依靠dropout来做inference实践上未免有点单薄
- 低维时序数据，小样本量，大部分情况下比不过HMM，ARIMA一类的，比如语音识别里至今CNN没有比HMM效果好多少
- 三维的图像数据，神经网络参数量太大，虽然有不少文章voxel based cnn，我目前还没有复现过效果比较好的模型
- 上面的三维数据，有一种做法是多视角赤极投影，然后用LSTM去学，然而实数空间不存在一个SO(3)群到S2群的连续映射，因为二者不同构，所以即使你做出实验效果，也有可能是某种过拟合的结果
- 神经网络容易受到对抗样本的攻击，攻击很容易，防御十分困难，目前为止的大部分防御措施都被指出存在漏洞
- 不规则数据，比如说graph signal或者point cloud，虽然有不少文章都尝试graph signal上做卷积，但是目前为止，应用在复杂数据集上效果欠佳，而且数学研究者的工作与CS研究者的工作还有着巨大的隔阂
- 有一些文章用神经网络做图像去噪，这类的文章，凡声称自己是“盲”去噪，不加任何正则项先验项的，有一大部分连自己到底想做到什么样的目标都说不清
1
相关话题
机器学习专家与统计学家观点上有哪些不同？机器学习（machine learning）在经济学领域是否有应用前景？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
机器学习中macro-F1的计算公式？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
CPU和GPU跑深度学习差别有多大？
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？
前一个讨论
正负样本极不平衡的问题？
下一个讨论
怎样才能写出 Pythonic 的代码？
相关的话题
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？如何评价MXNet发布的1.0版本？
有哪些令你印象深刻的魔改transformer？
到了 2022 年，人工智能有哪些真正可落地的应用？
机器学习最好的课程是什么？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何评价Kaiming He团队的MoCo v3？
有哪些你看了以后大呼过瘾的数据分析书？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
人工智能在发展到极高的程度之后能否算得上是一种生命？
TensorFlow的自动求导具体是在哪部分代码里实现的？
AI 有可能代替人类从事数学研究吗？
自监督学习（Self-supervised Learning）有什么比较新的思路？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
如何评价 MLSys 这个会议？
人工智能已在哪些领域超越了人类的表现？
如何理解Inductive bias？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
因果推断会是下一个AI热潮吗？
batchsize=1时可以用BN吗?
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？
二分类问题，应该选择sigmoid还是softmax？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如何简单形象又有趣地讲解神经网络是什么？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
2021 年，深度学习方面取得了哪些关键性进展？
机器学习，数据挖掘在研究生阶段大概要学些什么？