本篇文章将从贝叶斯公式出发,探究贝叶斯到底是啥,以及其在认知层面的巨大作用。不过据说每出现 1 个公式,文章阅读将下降 1/3。

华为大佬说:人工智能就是统计学。在我眼中,贝叶斯公式就是统计学走向机器学习的起点。

贝叶斯公式

贝叶斯定理(Bayes’s Rule):如果有k个相互独立事件 A1,A2···,Ak并且,P (A1) + P(A2) + ... + p(Ak)= 1 和一个可以观测到的事件 B,那么有:

image.png
这个就是贝叶斯公式,相当简洁。

公式中有几个关键概念:
P(A)为先验概率,即在观察事件B之前得到的事件A的假设概率
P(A|B) 为后验概率,即在观察事件B后得到新数据后计算该假设A的概率
P(B|A)为似然度,即在该假设A下得到这一观察数据 B 的概率
P(B)为标准化常量,即在任何假设下得到这一观察数据 B 的概率

用一句人话表达则是:

后验概率 = 先验概率×似然度

说到贝叶斯,必然离不开条件概率。

01 / 条件概率

条件概率的公式image.png

条件概率翻译过来就是事件B发生条件下A发生的概率,等于 AB 同时发生的概率比上 B 发生的概率。看着和贝叶斯及其相似, 实际上贝叶斯公式也是通过条件概率来证明的,具体就不赘述了。

02 / 贝叶斯公式 VS 条件概率

条件概率是频率统计思维,通过已知的信息去计算事件出现概率,我们称之为正向概率;贝叶斯公式反其道而行之,通过实验结果去反推出现实验结果的原因,我们称之为逆概率

上面这段话听着太拗口。我们用经典的摸球行为进行说明。

1.选择略微复杂点的场景:有两个桶,A 桶中有白球 7 个,黑球 3 个;B 桶中有白球 3 个,黑球 7 个。随机选择一个桶,有放回的抓球。

2.条件概率解决的问题是:摸到白球的概率是多少?

3.贝叶斯公式解决的问题是:我们摸 5 次,出现 3 次白球,2 次黑球,从 A 桶摸球的概率。

条件概率解法:

通过先验知识,我们可以知道随机选择一个桶概率 P(A)=P(B)=0.5
通过频率统计知识,我们可以算出条件概率 P(白球|A)=0.7 P(白球|B)=0.3
因此在已知知识的情况下,我们预测摸到白球的概率 0.5X0.7 + 0.3X0.7 = 0.5

贝叶斯公式解法:

那贝叶斯需要计算的是 P(A|x 球),出现x颜色球条件下选择A桶的概率。我们从第一次摸白球开始计算。
P(A|白球 1) = P(A) x P(白球|A)/P(白球) = 0.5 x 0.7/0.5 = 0.7
这个结果的含义是第一次出现白球,则我们随机选择 A 桶的概率将从 0.5 变为 0.7

同样的计算第二次选择白球的概率 P(A|白球 2) = P(A) x P(白球|A)/P(白球) = 0.7 x 0.7/(0.7x0.7 + 0.3x0.3) = 0.8448
重复计算下来,可以得到 A 桶的概率是 0.7
即可以理解为每次不同的观察结果,对于原因会产生影响。白球增加 A 桶的概率,黑球减少 A 桶的概率。

可以看到贝叶斯更加符合我们认知世界的方式。现实世界中,我们往往能观察到大量的现象,我们更加关心现象背后的原因。比如一段文本出现大量的特征,我们会去判断是不是垃圾邮件;比如一个女生同意和你吃饭,是不是对你有好感。image.png1.

Q.E.D.


繁华看淡即是浮云;烦恼无数,想开就是晴天