ML的灌水现象

（http://demonstrate.ycool.com/post.3137870.html）

看了几天 paper 和书，发现自己果然就是 zt好多东西就是不懂，那些人做的真快，我才建立起一种大致的灌水想法和模式，然后发现大家已经灌了好久了，大家手上都有长期灌水获得的工具，我却没有。

现在想挖个小坑，反而被人骂了 ~~><~~

下面是大致的灌水经历
naive Bayesian 的 discriminative pair 是 logisticregression，能用 kernel，出现了 KLR，换个training 的方式（MLE -> maximum margin）来了SVM，又因为 SVM 用了 regularizer，所以出来PKLR。又因为 SVM 稀疏，搞了个 IVM、RVM。监督的不够，咱还能加上半监督的，各种 regularizer一样上一个，SVM 要我 logistic regression 也要。KLR 是 frequentist 的，于是弄成 Bayesian，没发精确算，每个 approximation 算法来个版本，什么 Laplace approximation、variational method、variational bound、EP。这还不够，因为不是nonparametric，于是上 GP，然后每个近似方法再来一个。好吧，logistic regression 到了 NLP换了件衣服叫 CME，说来说去这 feature 好就想为啥那 generative model 不好用，可以认为加了状态之间 transition 的 naive Bayesian 就变成了HMM，可是 HMM 就是不能用 feature，于是出来个 MEMM。但是还觉得 label bias 不爽，干脆不是让 state 竞争，松掉这块的约束，换成 MRF，于是出现了链式 CRF。可是这不还是 logistic regression 么，那么再上 maximum margin、regularizer 就成了 maximum margin Markov
network;用个 Bayes 先验，出个 Bayes 版本，意犹未尽的大家还用上了 GP。HMM 里面有个 semi-Markov版本，于是很自然的 CRF 也可以来，估计 M3N
也行... 再来个 Bayes 的吧，还可以上 GP...

另外一排人在搞 Dirichlet process，DP 一出原来有限的都能无限。做法也是先把 frequentist 变 Bayes变了把参数空间换成 DP 先验。然后每个近似算法
来一个，另外 DP 里面采样很重要，还有多种不同的interpretation，比如用 CRP 的，用 SBP 的，更有甚者，瞧瞧 Jordan 的那个 DP 的 slides，那不就是
说 nnd 爷觉得 DP 不够爽快，还有 *** process 更合适呢...什么可以换就换什么，换来换去发现手上还是naive Bayesian 和 logistic regression，上面套了很多的wrapper...