最近在看 PBP 算法，准备就这个算法把前后的理论梳理一遍。
(1)贝叶斯统计简史
贝叶斯统计缘起于托马斯.贝叶斯（Tomas Bayes, 1702-1761），一位英国长老会牧师和业余数学家。在他去世后才发表的论文“论有关机遇问题的求解”中提出了现在贝叶斯统计的基本思想，但是贝叶斯定理的现代形式实际上归因于拉普拉斯在1812的工作，拉普拉斯重新发现了贝叶斯定理，并把它用来解决天体力学、医学甚至法学的问题。但自19世纪中叶起，随着频率学派（或者称作经典统计学派）的兴起，贝叶斯解释逐渐被统计学主流所拒绝。
现代贝叶斯统计学的复兴肇始于Jeffreys(1939)，从1950年代开始，经过众多统计学家的努力，贝叶斯统计学逐渐发展壮大，并发展出了贝叶斯统计决策理论这个新分支。特别到1990年代以后，随着计算方法MCMC在贝叶斯统计领域的广泛应用，解决了贝叶斯统计学长期存在的计算困难的问题，贝叶斯统计学这才迎来了它的春天。
(2)条件概率和贝叶斯公式
由条件概率公式\(P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)\)，故而有贝叶斯公式:
\[P(A|B)= {P(A\cap B)\over P(B)}={P(B|A)P(A)\over P(B)}\](3)全概率公式
假设事件\(A\)和\(A'\)共同构成了样本空间，那么就有
\[P(B)=P(B \cap A)+P(B \cap A')\]而通过上一节的推导，我们有
\[P(B \cap A)=P(B|A)P(A)\]所以，
\[P(B)=P(B|A)P(A)+P(B|A')P(A')\]这就是全概率公式。
将这个公式带入上一节的贝叶斯公式，就得到贝叶斯公式的另一种写法：
\[P(A|B)={P(B|A)P(A)\over P(B|A)P(A)+P(B|A')P(A')}\](4)贝叶斯推断
上面介绍的就是贝叶斯公式的最简单表达了，复杂的无非也就是求和换成积分，原理都是一样的。通常将\(P(A|B)\)称为后验概率(posterior probability)，将\(P(A)\)称为先验概率(prior probability)，将\(P(B|A)P(B)\)称为可能性函数(likelyhood function)。