基本概念
先梳理一下概率论中的几个基本概念。
事件 事件指某种情况的“陈述”，通俗来讲，事件就是一些case，比如A事件定义为，掷出骰子为偶数点=(2,4,6)，这个case包含了多个结果，其中，每个结果叫做一个基本事件，一个事件是由若干基本事件构成的。由此可见，事件的本质是集合。
有了事件，自然就有事件之间的关系，因为事件的本质是集合，所以我们可以用集合的运算符号来表达事件之间的基本逻辑关系，以下关系都可以用集合中的韦恩图来理解，这里就不画了。 基本关系有 ：
蕴含与相等：如果当A发生时B必发生 ，记
A
⊂
B
A\subset B
A⊂B，当
A
，
B
A，B
A，B相互蕴含时，称两事件相等，记
A
=
B
A=B
A=B
互斥与对立：在一次试验中不可能同时发生，但可以都不发生，有A就没有B，有B没有A，但是可以同时没有A和B。互斥事件的一个重要情况是“对立事件”，若
A
A
A为一事件，则事件 B={A不发生} ，记作
B
=
A
ˉ
B=\bar{A}
B=Aˉ
事件和（或称并）：
A
,
B
A,B
A,B 中至少发生一个(并集)，记作
C
=
A
+
B
C=A+B
C=A+B
事件积（或称并）：
A
A
A发生且
B
B
B发生(交集)，记作
C
=
A
B
C=AB
C=AB
事件差：
A
A
A发生且
B
B
B不发生，记作
C
=
A
−
B
=
A
B
ˉ
C=A-B=A \bar{B}
C=A−B=ABˉ
注意我们只是借用了算术中的运算符号来表达事件间的逻辑关系，算术的规则不一定能用于事件运算，这些符号不过是反映了事件间的一种逻辑关系，因而必须用逻辑思维的方式去验证。 由事件的基本关系可进一步定义出更复杂的关系，如条件概率、事件独立、全概率、贝叶斯等，其中相关公式可以自行查阅资料。
随机变量 随机变量就是试验结果的函数，它对试验结果的文字描述进行数字化，从而方便研究。比如抛一枚硬币，定义1=正面朝上 ，0=反面朝上，所以随机变量
X
X
X就代表抛硬币这个试验的结果，要么0要么1。 随机变量按其可能取的值的全体的性质，区分为两大类，一类是离散型随机变量，一类是连续型随机变量。
分布 研究一个随机变量的目的是为了进行预测，所以更重要的是它取各种值的概率如何，也就是分布如何，人们对生活中的现象进行规律总结，得到了一些比较常见的分布： 离散型随机变量常见的分布有：
伯努利分布（两点分布，Bernoulli distribution）二项分布（binomial distribution）几何分布（geometric distribution）泊松分布（Poisson distribution）
连续型随机变量常见的分布有：
正态分布（normal distribution）指数分布（exponential distribution）
这些分布之间相互做运算又有更加复杂的分布，这里墙裂推荐一本书 <<概率论与数理统计>> 陈希孺，看过的人都说棒！ヽ(ˋДˊ)ノ
分布是随机变量的概率性质最完整的刻画，而随机变量的数字特征，则是由随机变量的分布所决定的常数，它刻画了随机变量（或者说，刻画了其分布）的某一方面的性质，人们往往也比较关心这些指标，常见的有期望，方差、协方差，下面分别介绍公式。
期望
期望是随机变量取值的平均，以概率为权的对随机变量进行加权求和。
那么它和“平均数”有什么区别？ 平均数是一个统计学的概念，是对一组已经观察到的样本进行统计的量，而期望是一个概率论的概念，是根据已经存在的概率分布来“预测”样本的平均值的量，由于概率是频率随样本趋于无穷的极限，所以期望其实就是平均数随样本趋于无穷的极限，两者是通过大数定理联系起来的。
性质 1.
E
(
X
1
+
X
2
+
⋯
+
X
n
)
=
E
(
X
1
)
+
E
(
X
2
)
+
⋯
+
E
(
X
n
)
E\left(X_{1}+X_{2}+\cdots+X_{n}\right)=E\left(X_{1}\right)+E\left(X_{2}\right)+\cdots+E\left(X_{n}\right)
E(X1+X2+⋯+Xn)=E(X1)+E(X2)+⋯+E(Xn)（无条件成立）
2.
E
(
X
1
X
2
⋯
X
n
)
=
E
(
X
1
)
E
(
X
2
)
⋯
E
(
X
n
)
E\left(X_{1} X_{2} \cdots X_{n}\right)=E\left(X_{1}\right) E\left(X_{2}\right) \cdots E\left(X_{n}\right)
E(X1X2⋯Xn)=E(X1)E(X2)⋯E(Xn)（独立情况下成立）
计算 上述的定义是在我们知道概率分布的情况下计算期望的公式，但在实际应用中，我们往往是知道一组样本，我们需要通过样本来估计出总体，所以我们通常是用样本的统计量来估计这些数字特征。假如给定一个含有n个样本的集合，我们是通过样本平均值来估计期望：
X
ˉ
=
∑
i
=
1
n
X
i
n
\bar{X}=\frac{\sum_{i=1}^{n} X_{i}}{n}
Xˉ=n∑i=1nXi
方差
方差是用来衡量随机变量和其数学期望之间的偏离程度的量，通俗来说，就是用来衡量随机变量的波动程度，方差越大，那么这一组数据的波动幅度也就越大，稳定性就越小。
因为
X
X
X是随机的，所以偏离的量
X
−
E
X
X-EX
X−EX本身也是随机的，为了避免正负相互抵消，对其取平方作为偏离量，很自然方差就是该偏离量的期望，定义为：
Var
(
X
)
=
E
(
X
−
E
X
)
2
=
E
(
X
2
)
−
(
E
X
)
2
\operatorname{Var}(X)=E(X-E X)^{2}=E\left(X^{2}\right)-(E X)^{2}
Var(X)=E(X−EX)2=E(X2)−(EX)2 性质 1.常数的方差为0 2.若C为常数，则
V
a
r
(
X
+
C
)
=
V
a
r
(
X
)
Var(X+C)=Var(X)
Var(X+C)=Var(X) 3.若C为常数，则
V
a
r
(
C
X
)
=
C
2
V
a
r
(
X
)
Var(CX)=C^2Var(X)
Var(CX)=C2Var(X) 4.独立情况下，
Var
(
X
1
+
⋯
+
X
n
)
=
Var
(
X
1
)
+
⋯
+
Var
(
X
n
)
\operatorname{Var}\left(X_{1}+\cdots+X_{n}\right)=\operatorname{Var}\left(X_{1}\right)+\cdots+\operatorname{Var}\left(X_{n}\right)
Var(X1+⋯+Xn)=Var(X1)+⋯+Var(Xn)，注意区别期望是无条件成立
计算 假如给定一个含有n个样本的集合，则方差计算为：
σ
2
=
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
n
−
1
\sigma^{2}=\frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}}{n-1}
σ2=n−1∑i=1n(Xi−Xˉ)2 之所以除以n-1而不是除以n，是因为我们是用样本去估计总体，除n-1才是统计学上的“无偏估计”，这样能使我们以较小的样本集更好的逼近总体的标准差（有严格的数学推导，可以查阅资料）
标准化 在机器学习中，我们的数据经常是一个向量
x
x
x，也就是多维随机变量，每个位置是一个特征，为了消除数据特征间 单位和量级差异的影响，往往需要对数据进行标准化，使每个特征的均值为 0、方差 1，这样特征间就是可比较的（以下符号都是向量）：
x
′
=
x
−
x
ˉ
σ
x^{\prime}=\frac{x-\bar{x}}{\sigma}
x′=σx−xˉ
协方差
协方差是多维随机变量的数字特征。在生活中，我们往往会从多个角度对一个事物进行观察，这些角度也就是所谓的“特征”，比如对于“人”，有身高、体重、胸围、臂长等特征，协方差就是用来衡量特征之前有没有相关关系的量。 以二维随机变量
(
X
,
Y
)
(X, Y)
(X,Y)为例，定义协方差为：
Cov
(
X
,
Y
)
=
E
[
(
X
−
E
X
)
(
Y
−
E
Y
)
]
=
E
(
X
Y
)
−
(
E
X
)
(
E
Y
)
\operatorname{Cov}(X, Y)=E\left[\left(X- EX\right)\left(Y-EY\right)\right]=E\left(XY\right)-(E X)(EY)
Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−(EX)(EY) 可以看到它的形式和方差非常相似，不过是吧其中一项换成了
(
Y
−
E
Y
)
(Y-EY)
(Y−EY)，由定义可得
Cov
(
X
,
X
)
=
V
a
r
(
X
)
\operatorname{Cov}(X, X)={Var}(X)
Cov(X,X)=Var(X)
协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的，如果为负，则为负相关。从协方差可以引出“相关系数”的定义，衡量随机变量之相关程度更多的是用相关系数，可以看这篇文章 相关系数——皮尔逊相关系数的公式及其理解
性质 1.若
X
,
Y
X, Y
X,Y 独立,则
Cov
(
X
,
Y
)
=
0
\operatorname{Cov}(X, Y)=0
Cov(X,Y)=0，反过来不一定成立 2.第一条的例外：当(
X
,
Y
X, Y
X,Y )为二维正态时, 由
Cov
(
X
,
Y
)
=
0
\operatorname{Cov}(X, Y)=0
Cov(X,Y)=0 能推出
X
,
Y
X, Y
X,Y 独立 3.c为常数，
Cov
(
c
1
X
+
c
2
,
c
3
Y
+
c
4
)
=
c
1
c
3
Cov
(
X
,
Y
)
\operatorname{Cov}\left(c_{1} X+c_{2}, c_{3} Y+c_{4}\right)=c_{1} c_{3} \operatorname{Cov}(X, Y)
Cov(c1X+c2,c3Y+c4)=c1c3Cov(X,Y)
计算 假如给定一个含有n个样本的集合，则协方差计算为：
Cov
(
x
,
y
)
=
1
n
−
1
∑
i
=
1
n
(
x
i
−
x
ˉ
)
(
y
i
−
y
ˉ
)
\operatorname{Cov}(x, y)=\frac{1}{n-1} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)\left(y_{i}-\bar{y}\right)
Cov(x,y)=n−11i=1∑n(xi−xˉ)(yi−yˉ)
协方差矩阵 协方差也只能处理二维问题，维数多了就需要计算多个协方差，我们是用矩阵来进行组织，也就是协方差矩阵。以三维随机变量
(
x
,
y
,
z
)
(x,y,z)
(x,y,z)为例，则协方差矩阵为：
C
=
(
cov
(
x
,
x
)
cov
(
x
,
y
)
cov
(
x
,
z
)
cov
(
y
,
x
)
cov
(
y
,
y
)
cov
(
y
,
z
)
cov
(
z
,
x
)
cov
(
z
,
y
)
cov
(
z
,
z
)
)
C=\left(\begin{array}{ccc} \operatorname{cov}(x, x) & \operatorname{cov}(x, y) & \operatorname{cov}(x, z) \\ \operatorname{cov}(y, x) & \operatorname{cov}(y, y) & \operatorname{cov}(y, z) \\ \operatorname{cov}(z, x) & \operatorname{cov}(z, y) & \operatorname{cov}(z, z) \end{array}\right)
C=⎝⎛cov(x,x)cov(y,x)cov(z,x)cov(x,y)cov(y,y)cov(z,y)cov(x,z)cov(y,z)cov(z,z)⎠⎞ 可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差，协方差矩阵很有用，可以用来对数据进行更高级的分析，这里就不说了。
如果对你有帮助，请点个赞:-D