贝叶斯统计

1. 概述
贝叶斯统计（Bayesian Statistics）是一种基于贝叶斯定理（Bayes' Theorem）的统计推断方法。它通过结合先验知识（Prior Knowledge）和观测数据，更新对参数的信念（Belief），以计算后验概率（Posterior Probability）。贝叶斯统计广泛应用于机器学习、医学诊断、经济预测等领域。

2. 贝叶斯定理
贝叶斯定理的数学表达式如下：

$$P(\theta | D) = \frac{P(D | \theta) P(\theta)}{P(D)}$$

其中：

• $P(\theta | D)$ 是 后验概率（Posterior Probability），即在给定数据 $D$ 后，对参数 $\theta$ 的更新信念。
• $P(D | \theta)$ 是 似然函数（Likelihood Function），表示在假设 $\theta$ 为真时，数据 $D$ 发生的概率。
• $P(\theta)$ 是 先验概率（Prior Probability），表示在观察数据之前对参数 $\theta$ 的先验知识。
• $P(D)$ 是 边际似然（Marginal Likelihood） 或 证据（Evidence），用于归一化后验概率。

3. 主要特点

1. 结合先验知识：贝叶斯方法允许结合外部知识，而经典频率统计学仅依赖于样本数据。
2. 更新概率：当新数据到来时，可以使用贝叶斯公式不断修正参数的信念。
3. 概率解释：贝叶斯统计将参数视为随机变量，而频率学派认为参数是固定未知的常数。
4. 适用于小样本：在小样本情况下，贝叶斯方法通常比传统统计方法表现更好。

4. 计算方法
由于贝叶斯公式的计算涉及复杂的积分，实际应用通常使用以下方法：

1. 共轭先验（Conjugate Prior）
   若后验分布与先验分布属于同一家族，则称其为共轭分布（Conjugate Distribution）。例如：

   • 二项分布的共轭先验为 Beta 分布。
   • 正态分布的均值参数的共轭先验为正态分布，方差参数的共轭先验为逆伽马分布。

2. 马尔可夫链蒙特卡洛（MCMC, Markov Chain Monte Carlo）
   用于计算无法解析求解的后验分布，包括吉布斯采样（Gibbs Sampling）和Metropolis-Hastings 算法。

3. 变分推断（Variational Inference）
   通过优化方法近似计算后验分布，比 MCMC 计算更快，但精度稍逊。

5. 应用领域

1. 机器学习：贝叶斯分类器（如朴素贝叶斯）、贝叶斯神经网络。
2. 医学诊断：根据病史和检测结果计算疾病概率。
3. 金融分析：更新市场走势的概率预测。
4. 语言处理：隐马尔可夫模型（HMM）和贝叶斯层次模型。

6. 相关概念

1. 最大似然估计（MLE, Maximum Likelihood Estimation）：只利用数据计算参数，而贝叶斯方法结合先验信息。
2. 最大后验估计（MAP, Maximum A Posteriori Estimation）：贝叶斯方法中的点估计，即取后验概率的最大值。
3. 贝叶斯决策理论（Bayesian Decision Theory）：用于最优决策，如贝叶斯风险最小化。

参考文献
（1）Gelman, A., Carlin, J. B., Stern, H. S., et al. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.
（2）Jaynes, E. T. (2003). Probability Theory: The Logic of Science. Cambridge University Press.
（3）Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.