Hamiltonian Monte Carloを可視化する

Toy problem（2次元のガウシアンからサンプリング）でHMCの挙動を見てみる。

↓こういう風に、あるいは

↓こういう風にLeapfrog積分をして、

その行き先をM-Hに通す。これをR回。

なお、暗に各iterationのmomentumがガウシアンに従うと仮定してる。
Automatic differentiationやらを導入すればよりgeneralなケースで使える。

Juliaのコード + エエ感じのアニメーション

github.com

参考

Neal, R. M. (2011), “MCMC Using Hamiltonian Dynamics”. Handbook of Markov Chain Monte Carlo.