结合PRML和shuhuai008大哥的讲解重新理解拉普拉斯太阳照常升起的问题
问题：太阳已经照常升起N天了，明天太阳照常升起的概率是多少？
$X: $ 事件that太阳已经照常升起了N天
$Y: $ 事件that太阳明天会照常升起
\(\theta :\) 对于任意一天而言，太阳照常升起的概率，在区间\([0, 1]\)上， \(P(\theta) = 1\)(均匀分布的概率密度函数)
一个粗浅的视角
step 1: 贝叶斯估计 \[ \begin{align} P(\theta|X) &= \dfrac{P(X|\theta)P(\theta)}{\int_0^1 P(X|\theta)P(\theta)d\theta} \\ &= \dfrac{P(X|\theta)}{\int_0^1 P(X|\theta)d\theta} \\ &= \dfrac{\theta^N}{\int_0^1 \theta^N d\theta} \\ &= \dfrac{\theta^N}{\frac{1}{N+1}\theta^{N+1}|_0^1} \\ &= \dfrac{\theta^N}{\frac{1}{N+1}} \\ &= (N+1)\theta^N \end{align} \] step 2: 贝叶斯预测 \[ \begin{align} P(Y|X) &= \int_0^1 P(Y|X,\theta) d\theta \\ &= \int_0^1 P(Y|\theta) P(\theta|X) d\theta \\ &= \int_0^1 \theta (N+1)\theta^N d\theta \\ &= (N+1)\int_0^1 \theta^{N+1} d\theta \\ &= \dfrac{N+1}{N+2} \end{align} \]
一个没那么粗浅的视角
我们一样给 \(\theta\) 一个先验Beta(a, b)，使用Beta分布作为参数的先验的好处在于Beta分布是二项的一个共轭先验，我们可以得到： \[ P(\theta|m ,l, a, b) = \frac{\Gamma(m+a+l+b)}{\Gamma(m+a)\Gamma(l+b)} \theta^{m+a-1}(1-\theta)^{l+b-1} \] 我们想要的明天太阳照常升起的概率为： \[ P(x=1|X) = \int_{0}^{1}P(x=1|\theta)P(\theta|X)d\theta = \int_{0}^1\theta P(\theta|X)d\theta = \mathbb{E}_\theta[\theta|X] \] 由于共轭性质， \(\theta|X\)也是一个Beta分布，其均值为 \(\dfrac{m+a}{m+a+l+b}\)。
在我们的问题中，\(m = N\) , \(l = 0\)， 同时对于 \(\theta\)的先验是一个[0, 1]上的均匀分布，所以 \(a = b = 1\)，于是最终的结果为： \[ P(x=1|X) = \dfrac{N+1}{N+2} \]