除了深度学习,还有很多领域越来越受关注。
1. MCMC, Variational Inference
如果看今年的ICML,就会发现关于MCMC论文就有10篇左右,大部分都是去解决大数据下的sampling问题。 关于variational method的论文也不少,一个原因就是跟深度学习有关系,因为在深度学习模型里,我们也会需要用这种算法得到近似解, 比如在RBM。
2. 自然语言处理。机器学习(深度学习)在视觉领域上取得了很大的成果。相比之下,在自然语言处理问题上还是有很多难题要攻破。很多深度学习学者们预测下一个重要突破将是机器翻译。 看一下今年被ACL收录的论文(加上best paper),就会感觉到这个趋势。
3. Sparse, Robust Learning
几年NIPS的很多论文是关于这个方面。
4. Submodularity (Discrete optimization)
这个领域也越来越火。tutorial:
submodularity.org: Tutorials, References, Activities and Tools for Submodular Optimization5. Probablistic programming
这个算是近年来比较流行的话题。
6. Kernel methods, spectral methods.
Kernel是一直比较火的领域,spectral也感觉越来越火
7. Large scale optimization/inference, distributed learning
大数据时代嘛,没的说。
8. Time series problem
这个算是在机器学习领域比较难的问题,深度学习在time series的问题上还需要很多的改进。处理time series的最大的问题是我们不能用bag of words的假设,而且每个样本的长度也不一样。
9. Causal inference
这个问题目前虽然不算是热点,但值得去研究。目前,深度学习还没有办法去有效地解决这种问题。可以想象,在不久的将来,机器学习在医疗上的作用会越来越明显。