楼主既然对EM算法有一些了解,建议就从EM算法入手。EM算法讲得比较直观明了的资料,我认为是Andrew NG的machine learning课程的讲稿。
CS 229: Machine Learning (Course handouts),第八章就是专门讲EM算法的,不长,但是讲得很清晰。然后可以再去看一些EM的一些code实现。比如
MachineLearning-C---code/main.cpp at master · pennyliang/MachineLearning-C---code · GitHub。
熟悉完EM算法之后,可以去看变分推断了,关于变分推断的方法,D.Blei一直在推,最近就写了一篇文章和一份笔记。笔记在此
https://www. cs.princeton.edu/course s/archive/fall11/cos597C/lectures/variational-inference-i.pdf。 文章在此
https:// arxiv.org/abs/1601.0067 0。笔记是对文章的总结。
再往后就是结合了EM和variational inference的变分EM了,这个可以看香港大学的一份PPT,讲得是使用变分EM推导LDA的过程,很详细。
http://www. cse.ust.hk/~lzhang/teac h/6931a/slides/lda-zhou.pdf