LDA的训练有两种，一个是variational inference，一个是Gibbs抽样。
Dirichlet先验，反映到Gibbs抽样方式的训练过程上，可以认为是给隐含主题和词的同现计数加上一个简单的Laplacian平滑(Laplacian平滑就是把所有值都加上一个比较小的数字然后再重新归一化)。而GibbsSampling有一个问题，就是每次采样都需要更新全局信息，基本没有机会做真正意义上的并行化，只能做一个GibbsSampling的近似。
那么若利用MapReduce实现，怎样的近似方法好呢？
斯坦福的ScalaNLP项目值得一看：
http://nlp.stanford.edu/javanlp/scala/scaladoc/scalanlp/cluster/DistributedGibbsLDA$object.html
另外还有NIPS2007的论文：
Distributed Inference for Latent DirichletAllocation http://books.nips.cc/papers/files/nips20/NIPS2007_0672
ICML2008的论文：
Fully Distributed EM for Very Large Datasetshttp://www.cs.berkeley.edu/~jawolfe/pubs/08-icml-em
| 
转播
