概率论学习

概率论只不过是把常识归纳为计算问题． ——皮埃尔-西蒙·拉普拉斯（Pierre-SimonLaplace）

## 学习起因

学diffusion model的时候看不太懂公式，发现我学概率论已经是大二2021年的事情了，基本上忘了个精光，故重新学习。此外我发现一个有趣的网站（看见概率论 - 通过交互式演示理解经典概率论定理）因此开个新贴，学习一下。

大数定理：概率的收敛之美

“人生就像一场大数定理实验，重要的不是单次的成败，而是坚持到收敛的那一刻。 记住 ——*样本量不够，就往死里试！“*

1.核心思想

大数定理告诉我们：随着试验次数的增加，样本的平均值会越来越接近理论期望值。
$$
样本均值 → 理论期望值（当n→∞）
$$

• 试验次数较少时，平均值波动较大
• 随着次数增加，平均值会稳定在期望值附近
• 这种收敛性为统计推断提供了理论基础

特点：

1. 随机性，每次试验的结果都是随机的，无法准确预测
2. 独立性，每次试验相互独立，不受之前的结果影响
3. 收敛性，大量重复之后，平均值趋近于理论期望值

2. 实验

看见概率论中准备了三个实验，分别为骰子实验，硬币实验，随机抽样

• 骰子实验

  实验目标：

  1. 验证多次投掷骰子的平均值会收敛到3.5 (1+2+3+4+5+6)/6
  2. 观察收敛速度与试验次数的关系
  3. 理解随机事件的独立性原理

  观察重点：

  1. 绿色线表示每次投掷的实际点数
  2. 蓝色线表示到目前为止的平均值
  3. 红色虚线表示理论期望值3.5

  预期现象

  1. 开始时平均值（蓝线）波动较大
  2. 随着投掷次数增加，平均值会逐渐靠近3.5
  3. 单次投掷（绿线）始终在1-6之间随机波动

  实验现象

  当试验次数为10：

  

  当试验次数为100：

  

  当试验次数为1000

  

  实验结论：

  • 单次投掷结果完全随机，但大量重复后会呈现稳定规律
  • 试验次数越多，平均值越接近理论期望值3.5
  • 这种收敛性质正是大数定理的完美体现

  启示思考：

  • 统计规律需要大量样本才能显现
  • 小样本的结果可能会产生较大偏差
  • 概率不能预测单次结果，但能预测长期表现

贝叶斯定理：概率推理的艺术

“人生就像一场贝叶斯更新，每一条新信息都是一次概率革命。不过最重要的是 ——*先验概率不重要，重要的是不断更新！“*

1.核心思想

贝叶斯定理帮助我们在获得新信息后更新判断。它告诉我们如何根据新的观察结果， 科学地调整我们对某件事的认知。

贝叶斯公式：
$$
P(A|B) = P(B|A) × P(A) ÷ P(B)
$$

已知变量：

• P(A) - 先验概率：在获得新证据前的初始判断
• P(B|A) - 似然度：在A发生的条件下，观察到B的概率
• P(B|¬A) - 似然度：在A不发生的条件下，观察到B的概率

需要计算的变量：

• P(B) - 全概率：观察到B的总概率

  = P(A) × P(B|A) + P(¬A) × P(B|¬A)

• P(A|B) - 后验概率：观察到B后，对A的更新判断

  = P(B|A) × P(A) ÷ P(B)

1. 先验概率

在获得新证据之前，基于已有经验和背景信息的初始判断

2. 似然程度

新观察到的证据对不同假设的支持程度

3. 后验概率

结合新证据后得出的更新判断

2.实验

下雨概率：
$$
P(下雨|地面湿) = P(地面湿|下雨) × P(下雨) ÷ P(地面湿)
$$
已知变量：

• P(下雨) - 先验概率 P(R)
  • • 来源：根据天气预报、季节特征等预判
  • • 含义：在观察地面之前对是否下雨的判断
• P(地面湿|下雨) - 似然度 P(W|R)
  • • 来源：经验数据或实地观测
  • • 含义：在下雨的情况下，地面变湿的概率
• P(地面湿|不下雨) - 似然度 P(W|¬R)
  • • 来源：经验数据或实地观测
  • • 含义：在不下雨的情况下，地面变湿的概率（如清洁、洒水等）

需要计算的变量：

• P(地面湿) - 标准化常数 P(W)
  • • 通过全概率公式计算：P(W) = P(R) × P(W|R) + P(¬R) × P(W|¬R)
  • • 含义：地面变湿的总概率，包括下雨和不下雨两种情况
• P(下雨|地面湿) - 后验概率 P(R|W)
  • • 最终目标：通过贝叶斯公式计算
  • • 含义：观察到地面湿润后，对下雨概率的更新判断

也就是说贝叶斯公式是通过证据来更新先验概率。第一次弄懂了具体含义。。。

如果新来的证据的似然度都一样的话，那这个证据是完全无用的，也就是不会更新概率。