1. 指数族分布的基本形式与核心性质
指数族分布是概率论与统计学中一类极其重要的概率分布,它包含了众多常见的分布类型,如高斯分布、伯努利分布、泊松分布等。这类分布之所以重要,不仅因为其数学形式优美统一,更因为它们在统计推断、机器学习等领域具有广泛的应用价值。
1.1 标准形式解析
指数族分布的标准形式可以表示为:
q(x) = h(x) exp(η^T T(x) - A(η))
让我们拆解这个表达式中的每个组成部分:
-
自然参数η:这是决定分布形态的核心参数。在大多数情况下,η是一个向量,其维度与充分统计量T(x)相同。值得注意的是,η所在的参数空间必须保证积分收敛,这个空间称为自然参数空间。
-
充分统计量T(x):这个概念由统计学家Fisher提出,它包含了数据x中关于参数η的全部信息。在指数族中,T(x)的维度决定了分布的"丰富程度"。
-
对数配分函数A(η):这个函数在统计力学中被称为"自由能",它确保了概率分布的归一化。从数学上看,A(η)实际上是累积量生成函数,包含了分布的所有矩信息。
-
基测度h(x):这部分与参数无关,主要处理变量的定义域问题。例如,在泊松分布中,h(x)=1/x!就确保了x只能取非负整数。
技术细节:自然参数η与传统的参数(如高斯分布中的μ和σ)之间通常存在一一对应的关系。这种对应关系通过A(η)的导数性质建立起来,这也是后续推导的关键。
1.2 常见分布的指数族表示
让我们看几个具体例子:
伯努利分布:
原始形式:p(x|μ) = μ^x (1-μ)^(1-x)
指数族形式:exp{x log(μ/(1-μ)) + log(1-μ)}
其中:
η = log(μ/(1-μ)) (即logit函数)
T(x) = x
A(η) = -log(1-μ) = log(1+e^η)
泊松分布:
原始形式:p(x|λ) = e^(-λ) λ^x /x!
指数族形式:exp{x logλ - λ - logx!}
η = logλ
T(x) = x
A(η) = λ = e^η
高斯分布(已知方差):
p(x|μ) = (1/√(2πσ^2)) exp{-(x-μ)^2/(2σ^2)}
可以表示为:
exp{(μ/σ^2
