贝叶斯统计

贝叶斯统计（Bayesian Statistics）是一种基于贝叶斯定理（Bayes' Theorem）的统计推断方法。它通过结合先验知识（Prior Knowledge）和观测数据，更新对参数的信念（Belief），以计算后验概率（Posterior Probability）。贝叶斯统计广泛应用于机器学习、医学诊断、经济预测等领域。

贝叶斯定理的数学表达式如下：

$$P(\theta | D) = \frac{P(D | \theta) P(\theta)}{P(D)}$$

• $P(\theta | D)$ 是 后验概率（Posterior Probability），即在给定数据 $D$ 后，对参数 $\theta$ 的更新信念。
• $P(D | \theta)$ 是 似然函数（Likelihood Function），表示在假设 $\theta$ 为真时，数据 $D$ 发生的概率。
• $P(\theta)$ 是 先验概率（Prior Probability），表示在观察数据之前对参数 $\theta$ 的先验知识。
• $P(D)$ 是 边际似然（Marginal Likelihood） 或 证据（Evidence），用于归一化后验概率。

1. 结合先验知识：贝叶斯方法允许结合外部知识，而经典频率统计学仅依赖于样本数据。
2. 更新概率：当新数据到来时，可以使用贝叶斯公式不断修正参数的信念。
3. 概率解释：贝叶斯统计将参数视为随机变量，而频率学派认为参数是固定未知的常数。
4. 适用于小样本：在小样本情况下，贝叶斯方法通常比传统统计方法表现更好。

由于贝叶斯公式的计算涉及复杂的积分，实际应用通常使用以下方法：

1. 共轭先验（Conjugate Prior）：若后验分布与先验分布属于同一家族，则称其为共轭分布。例如：二项分布的共轭先验为 Beta 分布；正态分布的均值参数的共轭先验为正态分布，方差参数的共轭先验为逆伽马分布。
2. 马尔可夫链蒙特卡洛（MCMC, Markov Chain Monte Carlo）：用于计算无法解析求解的后验分布，包括吉布斯采样（Gibbs Sampling）和 Metropolis-Hastings 算法。
3. 变分推断（Variational Inference）：通过优化方法近似计算后验分布，比 MCMC 计算更快，但精度稍逊。

1. 机器学习：贝叶斯分类器（如朴素贝叶斯）、贝叶斯神经网络。
2. 医学诊断：根据病史和检测结果计算疾病概率。
3. 金融分析：更新市场走势的概率预测。
4. 语言处理：隐马尔可夫模型（HMM）和贝叶斯层次模型。

1. 最大似然估计（MLE, Maximum Likelihood Estimation）：只利用数据计算参数，而贝叶斯方法结合先验信息。
2. 最大后验估计（MAP, Maximum A Posteriori Estimation）：贝叶斯方法中的点估计，即取后验概率的最大值。
3. 贝叶斯决策理论（Bayesian Decision Theory）：用于最优决策，如贝叶斯风险最小化。

• Gelman, A., Carlin, J. B., Stern, H. S., et al. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.
• Jaynes, E. T. (2003). Probability Theory: The Logic of Science. Cambridge University Press.
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
• McElreath, R. (2020). Statistical Rethinking: A Bayesian Course with Examples in R and Stan (2nd ed.). CRC Press.
• Kruschke, J. K. (2015). Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan (2nd ed.). Academic Press.
• 陈希孺. (2009). 概率论与数理统计. 中国科学技术大学出版社.
• 茆诗松, 程依明, 濮晓龙. (2011). 概率论与数理统计教程 (第2版). 高等教育出版社.