pirichain1. 概率论基础概念解析
在机器学习和深度学习中，概率论是不可或缺的数学基础。理解随机变量的期望、方差和协方差等概念，对于掌握更复杂的模型和算法至关重要。这些概念不仅在理论分析中扮演重要角色，在实际应用中也经常被用来衡量和优化模型性能。
1.1 期望的性质与表示方法
期望（Expectation）是概率论中最基本的概念之一，它描述了一个随机变量在大量重复实验中取值的平均水平。在实际应用中，我们经常会遇到需要计算或表示期望的情况。
当上下文明确时，我们可以简化期望的表示方法。例如，如果很清楚期望是针对哪个随机变量的，我们可以完全省略下标：
E[f(x)] 表示对随机变量x的函数f(x)求期望
这种简化的表示方法在数学表达式中非常常见，特别是在不会引起歧义的情况下。默认情况下，E[·]会对括号内所有随机变量的值取平均。同样地，当没有歧义时，我们也可以省略方括号，直接写作Ef(x)。
期望的一个重要性质是线性性。对于任意两个函数f(x)和g(x)，以及不依赖于x的常数α和β，有：
E[αf(x) + βg(x)] = αE[f(x)] + βE[g(x)]
这个性质在实际计算中非常有用，它允许我们将复杂的期望表达式分解为更简单的部分。
注意：期望的线性性质仅在α和β不依赖于x时成立。如果它们是x的函数，这个等式一般不成立。
1.2 方差与标准差
方差（Variance）衡量的是一个随机变量的函数值在其期望值周围的波动程度。具体来说，方差定义为：
Var(f(x)) = E[(f(x) - E[f(x)])²]
这个公式可以理解为：函数f(x)的值与其期望值之差的平方的期望。方差越大，表示f(x)的值偏离其期望值的程度越大；方差越小，则f(x)的值越集中在期望值附近。
当方差较低时，f(x)的值会紧密地聚集在其期望值周围。在实际应用中，我们经常使用标准偏差（Standard Deviation），它是方差的平方根：
σ = √Var(f(x))
标准偏差与原始随机变量具有相同的量纲，这使得它在解释数据分布时更加直观。
1.3 协方差与相关性
协方差（Covariance）衡量的是两个随机变量之间的线性关系程度以及它们的规模：
Cov(f(x), g(y)) = E[(f(x) - E[f(x)])(g