概率论只不过是把常识归纳为计算问题.
——皮埃尔-西蒙·拉普拉斯(Pierre-SimonLaplace)
## 学习起因
学diffusion model的时候看不太懂公式,发现我学概率论已经是大二2021年的事情了,基本上忘了个精光,故重新学习。此外我发现一个有趣的网站(看见概率论 - 通过交互式演示理解经典概率论定理)因此开个新贴,学习一下。
大数定理:概率的收敛之美
“人生就像一场大数定理实验,重要的不是单次的成败,而是坚持到收敛的那一刻。 记住 ——*样本量不够,就往死里试!“*
1.核心思想
大数定理告诉我们:随着试验次数的增加,样本的平均值会越来越接近理论期望值。
$$
样本均值 → 理论期望值(当n→∞)
$$
- 试验次数较少时,平均值波动较大
- 随着次数增加,平均值会稳定在期望值附近
- 这种收敛性为统计推断提供了理论基础
特点:
- 随机性,每次试验的结果都是随机的,无法准确预测
- 独立性,每次试验相互独立,不受之前的结果影响
- 收敛性,大量重复之后,平均值趋近于理论期望值
2. 实验
看见概率论中准备了三个实验,分别为骰子实验,硬币实验,随机抽样
骰子实验
实验目标:
- 验证多次投掷骰子的平均值会收敛到3.5 (1+2+3+4+5+6)/6
- 观察收敛速度与试验次数的关系
- 理解随机事件的独立性原理
观察重点:
- 绿色线表示每次投掷的实际点数
- 蓝色线表示到目前为止的平均值
- 红色虚线表示理论期望值3.5
预期现象
- 开始时平均值(蓝线)波动较大
- 随着投掷次数增加,平均值会逐渐靠近3.5
- 单次投掷(绿线)始终在1-6之间随机波动
实验现象
当试验次数为10:
当试验次数为100:
当试验次数为1000
实验结论:
- 单次投掷结果完全随机,但大量重复后会呈现稳定规律
- 试验次数越多,平均值越接近理论期望值3.5
- 这种收敛性质正是大数定理的完美体现
启示思考:
- 统计规律需要大量样本才能显现
- 小样本的结果可能会产生较大偏差
- 概率不能预测单次结果,但能预测长期表现
贝叶斯定理:概率推理的艺术
“人生就像一场贝叶斯更新,每一条新信息都是一次概率革命。不过最重要的是 ——*先验概率不重要,重要的是不断更新!“*
1.核心思想
贝叶斯定理帮助我们在获得新信息后更新判断。它告诉我们如何根据新的观察结果, 科学地调整我们对某件事的认知。
贝叶斯公式:
$$
P(A|B) = P(B|A) × P(A) ÷ P(B)
$$
已知变量:
- P(A) - 先验概率:在获得新证据前的初始判断
- P(B|A) - 似然度:在A发生的条件下,观察到B的概率
- P(B|¬A) - 似然度:在A不发生的条件下,观察到B的概率
需要计算的变量:
- 先验概率
在获得新证据之前,基于已有经验和背景信息的初始判断
- 似然程度
新观察到的证据对不同假设的支持程度
- 后验概率
结合新证据后得出的更新判断
2.实验
下雨概率:
$$
P(下雨|地面湿) = P(地面湿|下雨) × P(下雨) ÷ P(地面湿)
$$
已知变量:
- P(下雨) - 先验概率 P(R)
- • 来源:根据天气预报、季节特征等预判
- • 含义:在观察地面之前对是否下雨的判断
- P(地面湿|下雨) - 似然度 P(W|R)
- • 来源:经验数据或实地观测
- • 含义:在下雨的情况下,地面变湿的概率
- P(地面湿|不下雨) - 似然度 P(W|¬R)
- • 来源:经验数据或实地观测
- • 含义:在不下雨的情况下,地面变湿的概率(如清洁、洒水等)
需要计算的变量:
- P(地面湿) - 标准化常数 P(W)
- • 通过全概率公式计算:P(W) = P(R) × P(W|R) + P(¬R) × P(W|¬R)
- • 含义:地面变湿的总概率,包括下雨和不下雨两种情况
- P(下雨|地面湿) - 后验概率 P(R|W)
- • 最终目标:通过贝叶斯公式计算
- • 含义:观察到地面湿润后,对下雨概率的更新判断
也就是说贝叶斯公式是通过证据来更新先验概率。第一次弄懂了具体含义。。。
如果新来的证据的似然度都一样的话,那这个证据是完全无用的,也就是不会更新概率。