SDE 讨论班 Lec 01-2

speaker：scq 同学

测度论初步 + 高等概率论初步 + GTM 274 Ch01 Gaussian Variables and Gaussian Processes

1. 测度论初步

1.1 基础定义

Definition 1.1.1（$\sigma$-域）

设 $X$ 为非空集合，$\mathcal{M} \subseteq \mathcal{P}(X)$（其中 $\mathcal{P}(X)$ 是 $X$ 的幂集）且非空。若 $\mathcal{M}$ 满足：

1. 对任意 $A \in \mathcal{M}$，其补集 $A^c \in \mathcal{M}$；
2. 对任意可数集族 $\{A_n\}_{n=1}^{\infty} \subseteq \mathcal{M}$，并集 $\bigcup_{n=1}^{\infty} A_n \in \mathcal{M}$；

则称 $\mathcal{M}$ 为 $\sigma$-域（或 $\sigma$-代数）。二元组 $(X, \mathcal{M})$ 称为 可测空间。

Definition 1.1.2（测度）

设 $(X, \mathcal{M})$ 为可测空间，其中 $X \neq \emptyset$ 且 $\mathcal{M}$ 是 $\sigma$-域。若函数 $\mu: \mathcal{M} \to [0, +\infty]$ 满足：

1. $\mu(\emptyset) = 0$；
2. 对任意可数个不相交的集合 $\{A_n\}_{n=1}^{\infty} \subseteq \mathcal{M}$，有 $\mu\left( \bigcup_{n=1}^{\infty} A_n \right) = \sum_{n=1}^{\infty} \mu(A_n)$（可数可加性）；

则称 $\mu$ 为 测度。三元组 $(X, \mathcal{M}, \mu)$ 称为 测度空间。

example 1.1.3

1. $(\mathbb{R}, \mathcal{L}, m)$，其中 $\mathcal{L}$ 表示勒贝格可测集族，$m$ 表示勒贝格测度，是一个测度空间。
2. 设 $\{a_n\}_{n \in \mathbb{Z}}$ 为一族非负实数（即对所有 $n \in \mathbb{Z}$，$a_n \geq 0$）。对任意 $A \in \mathcal{P}(\mathbb{Z})$（$\mathbb{Z}$ 的幂集），定义 $\mu(A) = \sum_{k \in A} a_k$。则 $(\mathbb{Z}, \mathcal{P}(\mathbb{Z}), \mu)$ 是一个测度空间。

1.2 可测映射、简单函数与积分

Definition 1.2.1（可测映射）

设 $(X, \mathcal{M})$ 和 $(Y, \mathcal{N})$ 为可测空间。若函数 $f: X \to Y$ 满足：对任意 $B \in \mathcal{N}$，原像 $f^{-1}(B) \in \mathcal{M}$，则称 $f$ 为 可测映射。

Remark（可测函数）：若 $(Y, \mathcal{N}) = (\mathbb{R}, \mathcal{B}_{\mathbb{R}})$（其中 $\mathcal{B}_{\mathbb{R}}$ 是 $\mathbb{R}$ 上的 Borel $\sigma$-域），则 $f$ 称为 可测函数。

Definition 1.2.2（简单函数）

若函数 $\varphi: X \to \mathbb{R}$ 可表示为 $\varphi = \sum_{i=1}^{n} a_i \mathbb{I}_{A_i}$，其中 $\{A_i\}_{i=1}^{n}$ 是不相交的可测集，且对每个 $i$，$a_i \in \mathbb{R}$（这里 $\mathbb{I}_{A_i}$ 是 $A_i$ 的指示函数），则称 $\varphi$ 为 简单函数。

Definition 1.2.3（非负可测函数的积分）

设 $(X, \mathcal{M}, \mu)$ 为测度空间，$f: X \to [0, +\infty]$ 为可测函数。$f$ 关于 $\mu$ 的积分定义为

$$\int f \, d\mu := \sup \left\{ \sum_{i=1}^{n} a_i \mu(A_i) \ \bigg| \ 0 \leq \varphi \leq f, \ \varphi = \sum_{i=1}^{n} a_i \mathbb{I}_{A_i} \text{ 是简单函数} \right\}.$$

Remark：对简单函数 $\varphi = \sum_{i=1}^{n} a_i \mathbb{I}_{A_i}$（其中 $\{A_i\}$ 不相交），其积分 $\int \varphi \, d\mu = \sum_{i=1}^{n} a_i \mu(A_i)$，这与上述定义一致。

Definition 1.2.4（可积函数）

设 $f: X \to \mathbb{R}$ 为可测函数。定义其正部 $f^+ := \max\{0, f\}$，负部 $f^- := \max\{0, -f\}$。若 $\int f^+ \, d\mu < \infty$ 且 $\int f^- \, d\mu < \infty$，则称 $f$ 是可积的（记为 $f \in L^1(\mu)$）。此时 $f$ 的积分定义为

$$\int f \, d\mu := \int f^+ \, d\mu - \int f^- \, d\mu.$$

Remark：函数 $f$ 可积当且仅当 $\int |f| \, d\mu < \infty$。（这是因为 $|f| = f^+ + f^-$，故 $\int |f| \, d\mu < \infty$ 当且仅当 $\int f^+ \, d\mu$ 和 $\int f^- \, d\mu$ 均有限。）

1.3 几个重要定理

Dylaaan的文章 - 实分析笔记（三）：积分

Theorem 1.3.1 Fatou 引理

设 $A \in \mathscr{A}$，$f_n: A \to [0, +\infty]$ 是 $\mu$-可测函数，$n = 1,2,\cdots$，则

$$\int_A \liminf_{n \to +\infty} f_n d\mu \leq \liminf_{n \to +\infty} \int_A f_n d\mu.$$

Theorem 1.3.2 Levi 单调收敛定理

设 $A \in \mathscr{A}$，$f_n, f: A \to [0, +\infty]$ 是 $\mu$-可测函数，$n = 1,2,\cdots$，且 $f_n \to f$（$n \to +\infty$）。若 $\{f_n\}$ 单调递增，则

$$\int_A f_k d\mu \to \int_A f d\mu,\quad k \to +\infty.$$

Theorem 1.3.3 Lebesgue 控制收敛定理

设 $A \in \mathscr{A}$，$f_n, f \in L^1(A)$，$n = 1,2,\cdots$，且 $f_n \to f$（$n \to +\infty$）。若存在函数 $g: A \to [0, +\infty]$ 满足 $g \in L^1(A)$，且对所有 $n = 1,2,\cdots$ 有 $|f_n| \leq g$，则

$$\int_A |f_n - f| d\mu \to 0,\,n \to +\infty,\quad \text{进而}\quad \int_A f_n d\mu \to \int_A f d\mu.$$

1.4 推移测度

Theorem 1.4.1（推移测度与变量替换公式）

设 $(X, \mathcal{M}, \mu)$ 为测度空间，$(Y, \mathcal{N})$ 为可测空间，$h: X \to Y$ 为可测映射。定义 推移测度 $\mu \circ h^{-1}: \mathcal{N} \to [0, +\infty]$ 为：对所有 $B \in \mathcal{N}$，$(\mu \circ h^{-1})(B) := \mu(h^{-1}(B))$。则：

1. $\mu \circ h^{-1}$ 是 $(Y, \mathcal{N})$ 上的测度；
2. 对任意可积函数 $f: Y \to \mathbb{R}$，变量替换公式 成立：

$$\int (f \circ h) \, d\mu = \int f \, d(\mu \circ h^{-1}).$$

证明：

步骤1：证明 $\mu \circ h^{-1}$ 是测度。

（i）空集的测度为 0：$(\mu \circ h^{-1})(\emptyset) = \mu(h^{-1}(\emptyset)) = \mu(\emptyset) = 0$。

（ii）可数可加性：设 $\{B_n\}_{n=1}^{\infty}$ 是 $\mathcal{N}$ 中的不相交集合，则 $\{h^{-1}(B_n)\}_{n=1}^{\infty}$ 是 $\mathcal{M}$ 中的不相交集合。

因为原像保持不相交性：对 $n \neq m$，$h^{-1}(B_n) \cap h^{-1}(B_m) = h^{-1}(B_n \cap B_m) = h^{-1}(\emptyset) = \emptyset$

因此，

$$(\mu \circ h^{-1})\left( \bigcup_{n=1}^{\infty} B_n \right) = \mu\left( h^{-1}\left( \bigcup_{n=1}^{\infty} B_n \right) \right) = \mu\left( \bigcup_{n=1}^{\infty} h^{-1}(B_n) \right) = \sum_{n=1}^{\infty} \mu(h^{-1}(B_n)) = \sum_{n=1}^{\infty} (\mu \circ h^{-1})(B_n).$$

故 $\mu \circ h^{-1}$ 是测度。

步骤2：证明变量替换公式。

分阶段证明：

情形1： $f$ 是 $Y$ 上的简单函数。

设 $f = \sum_{i=1}^{k} c_i \mathbb{I}_{B_i}$，其中 $\{B_i\}_{i=1}^{k}$ 是 $\mathcal{N}$ 中的不相交集合，$c_i \in \mathbb{R}$，则 $f \circ h = \sum_{i=1}^{k} c_i \mathbb{I}_{h^{-1}(B_i)}$，是 $X$ 上的简单函数。计算两边积分：

$$\int (f \circ h) \, d\mu = \sum_{i=1}^{k} c_i \mu(h^{-1}(B_i)) = \sum_{i=1}^{k} c_i (\mu \circ h^{-1})(B_i) = \int f \, d(\mu \circ h^{-1}).$$

情形2： $f$ 是 $Y$ 上的非负可测函数。

任何非负可测函数都可表示为一列递增的非负简单函数的极限，即存在非负简单函数列 $\{f_n\}_{n=1}^\infty$，使得 $f_n \uparrow f$（单调递增且逐点收敛于 $f$）。对每个 $f_n$，由第一步结论，有 $\int (f_n \circ h) d\mu = \int f_n d(\mu \circ h^{-1})$。

左边应用单调收敛定理（MCT）：因 $f_n \uparrow f$，，故 $f_n \circ h \uparrow f \circ h$（复合保持单调性），因此

$$\lim_{n \to \infty} \int (f_n \circ h) d\mu = \int (f \circ h) d\mu.$$

右边应用单调收敛定理（MCT）：因 $f_n \uparrow f$，故

$$\lim_{n \to \infty} \int f_n d(\mu \circ h^{-1}) = \int f d(\mu \circ h^{-1}).$$

两边极限相等，故非负可测函数情形下公式成立。

情形3： $f$ 是 $Y$ 上的可积函数。

将 $f$ 表示为 $f = f^+ - f^-$，其中 $f^+, f^-$ 是非负可测函数，则

$$f \circ h = (f^+ \circ h) - (f^- \circ h)$$

由情形2，$\int (f^+ \circ h) \, d\mu = \int f^+ \, d(\mu \circ h^{-1})$，且 $\int (f^- \circ h) \, d\mu = \int f^- \, d(\mu \circ h^{-1})$。

因 $f$ 可积，故 $\int f^+ \, d(\mu \circ h^{-1}) < \infty$ 且 $\int f^- \, d(\mu \circ h^{-1}) < \infty$，因此

$$\begin{align*} \int (f \circ h) \, d\mu &= \int (f^+ \circ h) \, d\mu - \int (f^- \circ h) \, d\mu \\ &= \int f^+ \, d(\mu \circ h^{-1}) - \int f^- \, d(\mu \circ h^{-1}) \\ &= \int f \, d(\mu \circ h^{-1}). \end{align*}$$

□

2. 高等概率论初步

参考书：《Probability: Theory and Examples》- Rick Durrett (Fifth Edition)

2.1 概率空间

概率空间 (probability space) 是一个三元组 $(\Omega, \mathcal{F}, P)$，其中 $\Omega$ 是“结果” (outcomes) 的集合，$\mathcal{F}$ 是“事件” (events) 的集合，$P: \mathcal{F} \to [0,1]$ 是一个为事件赋予概率的函数。我们假设 $\mathcal{F}$ 是一个 $\sigma$-域（或 $\sigma$-代数），即 $\Omega$ 的子集的一个（非空）族，满足：

• (i) 若 $A \in \mathcal{F}$，则 $A^c \in \mathcal{F}$；
• (ii) 若 $A_i \in \mathcal{F}$ 是一列集合，则 $\bigcup_i A_i \in \mathcal{F}$。

这里及以下，“可数” 指有限或可数无限。由于 $\bigcap_i A_i = (\bigcup_i A_i^c)^c$，故 $\sigma$-field 对可数交封闭。我们在定义中省略最后一个性质，以使其更易验证。

不考虑 $P$ 时，$(\Omega, \mathcal{F})$ 称为 可测空间 (measurable space)，即可以在其上定义测度的空间。测度 (measure) 是一个非负可数可加集函数；即，一个函数 $\mu: \mathcal{F} \to \mathbb{R}$，满足：

• (i) 对所有 $A \in \mathcal{F}$，$\mu(A) \geq \mu(\emptyset) = 0$；
• (ii) 若 $A_i \in \mathcal{F}$ 是一列不相交 (disjoint) 的集合，则

$$\mu(\bigcup_i A_i) = \sum_i \mu(A_i)$$

若 $\mu(\Omega) = 1$，我们称 $\mu$ 为 概率测度 (probability measure)。概率测度通常记为 $P$。

下一个结果给出了我们稍后会用到的测度定义的一些推论。在所有情况下，我们假设提到的集合都在 $\mathcal{F}$ 中。

Theorem 2.1.1

设 $\mu$ 是 $(\Omega, \mathcal{F})$ 上的测度，

• (i) 单调性 (monotonicity)
  • 若 $A \subset B$，则 $\mu(A) \leq \mu(B)$。
• (ii) 次可加性 (subadditivity)
  • 若 $A \subset \bigcup_{m=1}^\infty A_m$，则 $\mu(A) \leq \sum_{m=1}^\infty \mu(A_m)$。
• (iii) 下连续性 (continuity from below)
  • 若 $A_i \uparrow A$（即 $A_1 \subset A_2 \subset \dots$ 且 $\bigcup_i A_i = A$），则 $\mu(A_i) \uparrow \mu(A)$。
• (iv) 上连续性 (continuity from above)
  • 若 $A_i \downarrow A$（即 $A_1 \supset A_2 \supset \dots$ 且 $\bigcap_i A_i = A$），且 $\mu(A_1) < \infty$，则 $\mu(A_i) \downarrow \mu(A)$。

Example 2.1.2（离散概率空间）

设 $\Omega$ 是一个可数集，即有限或可数无限集。设 $\mathcal{F}$ 是 $\Omega$ 的所有子集的集合。设

$$P(A) = \sum_{\omega \in A} p(\omega), \text{ 其中 } p(\omega) \geq 0 \text{ 且 } \sum_{\omega \in \Omega} p(\omega) = 1$$

稍加思考就会发现，这是该空间上最一般的概率测度。在许多情况下，当 $\Omega$ 是有限集时，我们有 $p(\omega) = 1/|\Omega|$，其中 $|\Omega|$ 是 $\Omega$ 中的点数。

为了准备下一个定义，我们需要注意，由定义可轻易推出：若 $\mathcal{F}_i$（$i \in I$）是 $\sigma$-域，则 $\bigcap_{i \in I} \mathcal{F}_i$ 也是 $\sigma$-域。这里 $I \neq \emptyset$ 是任意指标集（即可能不可数）。由此可知，若给定一个集合 $\Omega$ 和 $\Omega$ 的子集族 $\mathcal{A}$，则存在包含 $\mathcal{A}$ 的最小 $\sigma$-域。我们将其称为 由 $\mathcal{A}$ 生成的 $\sigma$-域，记为 $\sigma(\mathcal{A})$。

设 $\mathbb{R}^d$ 是实向量 $(x_1, \dots, x_d)$ 的集合， $\mathcal{R}^d$ 是 Borel 集，即包含所有开集的最小 $\sigma$-域。当 $d=1$ 时，我们省略上标。

Example 2.1.3（实直线上的测度）

$(\mathbb{R}, \mathcal{R})$ 上的测度由具有以下性质的 Stieltjes 测度函数 定义：

• (i) $F$ 是非递减的。
• (ii) $F$ 是右连续的，即 $\lim_{y \downarrow x} F(y) = F(x)$。

Theorem 2.1.4

与每个 Stieltjes 测度函数 $F$ 相关联的，是 $(\mathbb{R}, \mathcal{R})$ 上唯一的测度 $\mu$，满足 $\mu((a, b]) = F(b) - F(a)$

$$\mu((a, b]) = F(b) - F(a) \tag{1.1.1}$$

当 $F(x) = x$ 时，所得测度称为 勒贝格测度。

Remark： 在 $(a, b]$ 中选择“右闭”是由以下事实决定的：若 $b_n \downarrow b$，则有

$$\bigcap_n (a, b_n] = (a, b]$$

2.2 独立性

Definition 2.2.1（$\sigma$-field 的独立性）

设 $\mathcal{F}_1, \mathcal{F}_2, \dots, \mathcal{F}_n$ 是概率空间上的 $\sigma$-域。若对任意 $A_i \in \mathcal{F}_i$（$i = 1, 2, \dots, n$），有

$$P\left( \bigcap_{i=1}^n A_i \right) = \prod_{i=1}^n P(A_i)$$

则称 $\mathcal{F}_1, \dots, \mathcal{F}_n$ 相互独立。

Definition 2.2.2（随机变量的独立性）

设 $X_1, X_2, \dots, X_n$ 是随机变量。若它们生成的$\sigma$-域 $\sigma(X_1), \sigma(X_2), \dots, \sigma(X_n)$ 相互独立，则称 $X_1, \dots, X_n$ 相互独立。

Definition 2.2.3（集合的独立性）

设 $A_1, A_2, \dots, A_n$ 是样本空间的子集。若对任意非空子集 $I \subseteq \{1, 2, \dots, n\}$，有

$$P\left( \bigcap_{i \in I} A_i \right) = \prod_{i \in I} P(A_i)$$

则称 $A_1, \dots, A_n$ 相互独立。

Definition 2.2.4（集族的独立性）

设 $\mathcal{A}_1, \mathcal{A}_2, \dots, \mathcal{A}_n$ 是样本空间的集族。若对任意非空子集 $I \subseteq \{1, 2, \dots, n\}$ 和任意 $A_i \in \mathcal{A}_i$（$i \in I$），有

$$P\left( \bigcap_{i \in I} A_i \right) = \prod_{i \in I} P(A_i)$$

则称 $\mathcal{A}_1, \dots, \mathcal{A}_n$ 相互独立。

2.3 $\pi$-$\lambda$定理

Definition 2.3.1（$\pi$-系统）

设 $\mathcal{P}$ 是样本空间的集族。若 $\mathcal{P}$ 对有限交运算封闭（即对任意 $A, B \in \mathcal{P}$，有 $A \cap B \in \mathcal{P}$），则称 $\mathcal{P}$ 是一个**$\pi$-系统**。

Definition 2.3.2（$\lambda$-系统）

设 $\mathcal{L}$ 是样本空间的集族。若 $\mathcal{L}$ 满足以下三条：

1. $\Omega \in \mathcal{L}$（包含全空间）；
2. 对差运算封闭：若 $A, B \in \mathcal{L}$ 且 $A \subseteq B$，则 $B \setminus A \in \mathcal{L}$；
3. 对递增序列的并封闭：若 $\{A_n\} \subseteq \mathcal{L}$ 且 $A_n \uparrow A$（即 $A_1 \subseteq A_2 \subseteq \dots$ 且 $\bigcup_{n=1}^\infty A_n = A$），则 $A \in \mathcal{L}$；
   则称 $\mathcal{L}$ 是一个**$\lambda$-系统**。

Theorem 2.3.3（Dynkin $\pi$-$\lambda$定理）

设 $\mathcal{P}$ 是$\pi$-系统，$\mathcal{L}$ 是 $\lambda$-系统，且 $\mathcal{P} \subseteq \mathcal{L}$，则 $\sigma(\mathcal{P}) \subseteq \mathcal{L}$。其中，$\sigma(\mathcal{P})$ 是由 $\mathcal{P}$ 生成的 $\sigma$-域）。

证明：

记 $\mathcal{L}(\mathcal{P})$ 为包含 $\mathcal{P}$ 的最小 $\lambda$-系统（即所有包含 $\mathcal{P}$ 的$\lambda$-系统的交集，易证其仍为$\lambda$-系统）。我们先证明**$\mathcal{L}(\mathcal{P})$ 是$\sigma$-域**，步骤如下：

1. 证明 $\mathcal{L}(\mathcal{P})$ 对有限交封闭：
   对任意 $A \in \mathcal{L}(\mathcal{P})$，定义集族 $\mathcal{G}(A) = \{ B \in \mathcal{L}(\mathcal{P}) \mid A \cap B \in \mathcal{L}(\mathcal{P}) \}$。需证 $\mathcal{G}(A)$ 是$\lambda$-系统：

   • （包含全空间）$\Omega \in \mathcal{G}(A)$，因为 $A \cap \Omega = A \in \mathcal{L}(\mathcal{P})$；
   • （差运算封闭）若 $B_1 \subseteq B_2$ 且 $B_1, B_2 \in \mathcal{G}(A)$，则 $A \cap (B_2 \setminus B_1) = (A \cap B_2) \setminus (A \cap B_1)$。由 $B_1, B_2 \in \mathcal{G}(A)$ 知 $A \cap B_1, A \cap B_2 \in \mathcal{L}(\mathcal{P})$，且 $A \cap B_1 \subseteq A \cap B_2$，故由$\lambda$-系统的差封闭性，$(A \cap B_2) \setminus (A \cap B_1) \in \mathcal{L}(\mathcal{P})$，即 $B_2 \setminus B_1 \in \mathcal{G}(A)$；
   • （递增并封闭）若 $\{B_n\} \subseteq \mathcal{G}(A)$ 且 $B_n \uparrow B$，则 $A \cap B_n \uparrow A \cap B$。由$\lambda$-系统的递增并封闭性，$A \cap B \in \mathcal{L}(\mathcal{P})$，故 $B \in \mathcal{G}(A)$。

   因此，$\mathcal{G}(A)$ 是$\lambda$-系统。

   • 若 $A \in \mathcal{P}$，则对任意 $B \in \mathcal{P}$，$A \cap B \in \mathcal{P} \subseteq \mathcal{L}(\mathcal{P})$，故 $\mathcal{P} \subseteq \mathcal{G}(A)$。而 $\mathcal{L}(\mathcal{P})$ 是包含 $\mathcal{P}$ 的最小$\lambda$-系统，故 $\mathcal{L}(\mathcal{P}) \subseteq \mathcal{G}(A)$。这意味着：对任意 $A \in \mathcal{P}$ 和 $B \in \mathcal{L}(\mathcal{P})$，有 $A \cap B \in \mathcal{L}(\mathcal{P})$；
   • 若 $B \in \mathcal{L}(\mathcal{P})$，则对任意 $A \in \mathcal{P}$，$A \cap B \in \mathcal{L}(\mathcal{P})$，即 $\mathcal{P} \subseteq \mathcal{G}(B)$。同理，$\mathcal{L}(\mathcal{P}) \subseteq \mathcal{G}(B)$，即对任意 $A, B \in \mathcal{L}(\mathcal{P})$，有 $A \cap B \in \mathcal{L}(\mathcal{P})$。故 $\mathcal{L}(\mathcal{P})$ 对有限交封闭。

2. 证明 $\mathcal{L}(\mathcal{P})$ 是$\sigma$-域：
   只需验证$\sigma$-域的三条公理：

   • （包含全空间）$\Omega \in \mathcal{L}(\mathcal{P})$（$\lambda$-系统的定义）；
   • （补集封闭）对 $A \in \mathcal{L}(\mathcal{P})$，令 $B = \Omega \setminus A$，由差封闭性（$A \subseteq \Omega$），$B \in \mathcal{L}(\mathcal{P})$；
   • （可数并封闭）对可数个 $A_n \in \mathcal{L}(\mathcal{P})$，令 $B_1 = A_1$，$B_k = A_k \setminus \bigcup_{i=1}^{k-1} A_i$（$k \geq 2$），则 $B_k$ 两两不相交，且 $\bigcup_{n=1}^\infty A_n = \bigcup_{n=1}^\infty B_n$。由有限交封闭（已证）和差封闭性，$B_k \in \mathcal{L}(\mathcal{P})$，再由递增并封闭（$C_n = \bigcup_{i=1}^n B_i \uparrow \bigcup_{n=1}^\infty B_n$），故 $\bigcup_{n=1}^\infty A_n \in \mathcal{L}(\mathcal{P})$。

   因此，$\mathcal{L}(\mathcal{P})$ 是$\sigma$-域。而 $\sigma(\mathcal{P})$ 是包含 $\mathcal{P}$ 的最小$\sigma$-域，故 $\sigma(\mathcal{P}) \subseteq \mathcal{L}(\mathcal{P}) \subseteq \mathcal{L}$，定理得证。

Theorem 2.3.4（$\pi$-$\lambda$定理的推广）

设 $\mathcal{A}_1, \mathcal{A}_2, \dots, \mathcal{A}_n$ 是相互独立的集族，且每个 $\mathcal{A}_i$ 是 $\pi$-系统，则它们生成的$\sigma$-域 $\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), \dots, \sigma(\mathcal{A}_n)$ 相互独立。

证明：对 $n$ 用数学归纳法，先证 $n = 2$ 的情形，再推广到一般 $n$。

步骤1：$n = 2$ 时的证明
定义集族 $\mathcal{L}_1 = \left\{ A_1 \mid A_1, A_2 \text{ 独立对任意 } A_2 \in \mathcal{A}_2 \right\}$，需证 $\mathcal{L}_1$ 是$\lambda$-系统且包含 $\mathcal{A}_1$。

• （包含全空间）$\Omega \in \mathcal{L}_1$，因为对任意 $A_2 \in \mathcal{A}_2$，$P(\Omega \cap A_2) = P(A_2) = P(\Omega)P(A_2)$；
• （差运算封闭）若 $A_1^1 \subseteq A_1^2$ 且 $A_1^1, A_1^2 \in \mathcal{L}_1$，则对任意 $A_2 \in \mathcal{A}_2$，

  $$P\left( (A_1^2 \setminus A_1^1) \cap A_2 \right) = P(A_1^2 \cap A_2) - P(A_1^1 \cap A_2) = P(A_1^2)P(A_2) - P(A_1^1)P(A_2) = P(A_1^2 \setminus A_1^1)P(A_2)$$

  故 $A_1^2 \setminus A_1^1 \in \mathcal{L}_1$；
• （递增并封闭）若 $\{A_1^k\} \subseteq \mathcal{L}_1$ 且 $A_1^k \uparrow A_1$，则对任意 $A_2 \in \mathcal{A}_2$，由概率的上连续性，

  $$P(A_1 \cap A_2) = \lim_{k \to \infty} P(A_1^k \cap A_2) = \lim_{k \to \infty} P(A_1^k)P(A_2) = P(A_1)P(A_2)$$

  故 $A_1 \in \mathcal{L}_1$。

因此，$\mathcal{L}_1$ 是 $\lambda$-系统。又因为 $\mathcal{A}_1$ 是 $\pi$-系统且 $\mathcal{A}_1 \subseteq \mathcal{L}_1$（由 $\mathcal{A}_1, \mathcal{A}_2$ 独立），根据Dynkin $\pi$-$\lambda$定理，$\sigma(\mathcal{A}_1) \subseteq \mathcal{L}_1$，即 $\sigma(\mathcal{A}_1)$ 与 $\mathcal{A}_2$ 独立。

步骤2：同理可证 $\sigma(\mathcal{A}_2)$ 与 $\sigma(\mathcal{A}_1)$ 独立

定义类似的 $\lambda$-系统 $\mathcal{L}_2$，可得 $\sigma(\mathcal{A}_2) \subseteq \mathcal{L}_2$，即 $\sigma(\mathcal{A}_1)$ 与 $\sigma(\mathcal{A}_2)$ 独立。

步骤3：归纳到一般 $n$

假设对 $n-1$ 个相互独立的 $\pi$-系统，其生成的 $\sigma$-域也相互独立。对 $n$ 个集族 $\mathcal{A}_1, \dots, \mathcal{A}_n$，固定 $\mathcal{A}_2, \dots, \mathcal{A}_n$，将 $\mathcal{A}_1$ 与 $\mathcal{A}_2 \cap \dots \cap \mathcal{A}_n$ 构成的$\pi$-系统（因为$\pi$-系统对交封闭）应用上述 $n=2$ 的结论，可证 $\sigma(\mathcal{A}_1)$ 与 $\sigma(\mathcal{A}_2), \dots, \sigma(\mathcal{A}_n)$ 独立。依此类推，可得 $\sigma(\mathcal{A}_1), \dots, \sigma(\mathcal{A}_n)$ 相互独立。

3. Gaussian Variables and Gaussian Processes

高斯随机过程在理论概率论和各种应用模型中都发挥着重要作用。我们首先回顾关于高斯随机变量和高斯向量的基本事实。然后我们讨论高斯空间和高斯过程，并建立高斯框架下关于独立性和条件作用的基本性质。最后，我们引入高斯白噪声的概念，它将在下一章中用于给出布朗运动的简单构造。

3.1 Gaussian Random Variables

在本章中，我们处理定义在概率空间 $(\Omega, \mathcal{F}, P)$ 上的随机变量。对于接下来的一些存在性陈述，这个概率空间应适当选取。对于每个实数 $p \geq 1$，$L^p(\Omega, \mathcal{F}, P)$，或者在无歧义时简记为 $L^p$，表示所有满足 $|X|^p$ 可积的实随机变量 $X$ 的空间，通常约定几乎必然相等的两个随机变量被视为同一。空间 $L^p$ 配备通常的范数。

实随机变量 $X$ 被称为 标准高斯（或正态）变量，如果其概率律关于 $\mathbb{R}$ 上的勒贝格测度具有密度

$$p_X(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right)$$

此时，$X$ 的复 Laplace 变换由下式给出：

$$E\left[e^{zX}\right] = e^{z^2/2}, \quad \forall z \in \mathbb{C}.$$

为得到该公式（同时验证复 Laplace 变换是 well defined），先考虑 $z = \lambda \in \mathbb{R}$ 的情形：

$$E\left[e^{\lambda X}\right] = \frac{1}{\sqrt{2\pi}} \int_{\mathbb{R}} e^{\lambda x} e^{- x^2/2} \mathrm{d}x = e^{\lambda^2/2} \frac{1}{\sqrt{2\pi}} \int_{\mathbb{R}} e^{-(x-\lambda)^2/2} \mathrm{d}x = e^{\lambda^2/2}.$$

该计算确保了对每个 $z \in \mathbb{C}$，$E\left[e^{zX}\right]$ 是良定的，并在 $\mathbb{C}$ 上定义了一个全纯函数。通过解析延拓，对每个 $z \in \mathbb{R}$ 成立的恒等式 $E\left[e^{zX}\right] = e^{z^2/2}$，对每个 $z \in \mathbb{C}$ 也必须成立。

取 $z = \mathrm{i}\xi$，$\xi \in \mathbb{R}$，我们得到 $X$ 的 特征函数：

$$E\left[e^{\mathrm{i}\xi X}\right] = e^{-\xi^2/2}.$$

由展开式

$$E\left[e^{\mathrm{i}\xi X}\right] = 1 + \mathrm{i}\xi E[X] + \cdots + \frac{(\mathrm{i}\xi)^n}{n!} E[X^n] + O(|\xi|^{n+1}),$$

当 $\xi \to 0$ 时（当 $X$ 属于所有 $L^p$ 空间（$1 \leq p < \infty$）时，该展开式对每个 $n \geq 1$ 都成立，这里正是这种情况），我们得到

$$E[X] = 0, \quad E[X^2] = 1$$

更一般地，对每个整数 $n \geq 0$，

$$E[X^{2n}] = \frac{(2n)!}{2^n n!}, \quad E[X^{2n+1}] = 0.$$

若 $\sigma > 0$ 且 $m \in \mathbb{R}$，我们称实随机变量 $Y$ 服从 $\mathcal{N}(m, \sigma^2)$ 分布的 高斯变量，如果 $Y$ 满足以下三个等价性质之一：
(i) $Y = \sigma X + m$，其中 $X$ 是标准高斯变量（即 $X$ 服从 $\mathcal{N}(0, 1)$ 分布）；
(ii) $Y$ 的概率律具有密度

$$p_Y(y) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(y - m)^2}{2\sigma^2}\right);$$

(iii) $Y$ 的特征函数为

$$E\left[e^{\mathrm{i}\xi Y}\right] = \exp\left(\mathrm{i}m\xi - \frac{\sigma^2}{2}\xi^2\right).$$

于是我们有

$$E[Y] = m, \quad \mathrm{var}(Y) = \sigma^2.$$

通过推广，若 $Y = m$ 几乎必然成立，我们称 $Y$ 服从 $\mathcal{N}(m, 0)$ 分布的高斯变量（此时性质(iii)仍然成立）。

假设 $Y$ 服从 $\mathcal{N}(m, \sigma^2)$ 分布，$Y^\prime$ 服从 \mathcal{N}(m^\prime, \sigma^\prime^2) 分布，且 $Y$ 和 $Y^\prime$ 独立。那么 $Y + Y^\prime$ 服从 \mathcal{N}(m + m^\prime, \sigma^2 + \sigma^\prime^2) 分布。这是性质(iii)的直接推论。

命题1.1

设 $(X_n)_{n \geq 1}$ 是实随机变量序列，使得对每个 $n \geq 1$，$X_n$ 服从 $\mathcal{N}(m_n, \sigma_n^2)$ 分布。假设 $X_n$ 在 $L^2$ 中收敛到 $X$。则：
(i) 随机变量 $X$ 服从 $\mathcal{N}(m, \sigma^2)$ 分布，其中 $m = \lim m_n$ 且 $\sigma = \lim \sigma_n$。
(ii) 该收敛在所有 $L^p$ 空间（$1 \leq p < \infty$）中也成立。

注记

$X_n$ 在 $L^2$ 中收敛到 $X$ 的假设可弱化为依概率收敛（事实上，序列 $(X_n)_{n \geq 1}$ 的依分布收敛就足以得到部分(i)）。我们将其留给读者作为练习。

证明

(i) $L^2$ 中的收敛蕴含当 $n \to \infty$ 时，$m_n = E[X_n]$ 收敛到 $E[X]$ 且 $\sigma_n^2 = \mathrm{var}(X_n)$ 收敛到 $\mathrm{var}(X)$。然后，令 $m = E[X]$ 且 $\sigma^2 = \mathrm{var}(X)$，对每个 $\xi \in \mathbb{R}$，有

$$E[e^{\mathrm{i}\xi X}] = \lim_{n \to \infty} E[e^{\mathrm{i}\xi X_n}] = \lim_{n \to \infty} \exp\left(\mathrm{i}m_n\xi - \frac{\sigma_n^2}{2}\xi^2\right) = \exp\left(\mathrm{i}m\xi - \frac{\sigma^2}{2}\xi^2\right),$$

这表明 $X$ 服从 $\mathcal{N}(m, \sigma^2)$ 分布。

(ii) 由于 $X_n$ 与 $\sigma_n N + m_n$ 有相同的分布（其中 $N$ 是标准高斯变量），且序列 $(m_n)$ 和 $(\sigma_n)$ 是有界的，我们立即看到

$$\sup_n E[|X_n|^q] < \infty, \quad \forall q \geq 1.$$

由此可得

$$\sup_n E[|X_n - X|^q] < \infty, \quad \forall q \geq 1.$$

设 $p \geq 1$。序列 $Y_n = |X_n - X|^p$ 依概率收敛到 $0$，且是一致可积的（因为它在 $L^2$ 中有界，由前面 $q = 2p$ 时的界保证）。由此可知该序列在 $L^1$ 中收敛到 $0$，这就是所需的结果。
$\square$

1.2 Gaussian Vectors

设 $E$ 是 $d$ 维欧几里得空间（$E$ 同构于 $\mathbb{R}^d$，我们可以取 $E = \mathbb{R}^d$，配备通常的内积，但在抽象空间中处理会更方便）。我们用 $\langle u, v \rangle$ 表示 $E$ 中的内积。取值于 $E$ 的随机变量 $X$ 称为 高斯向量，如果对每个 $u \in E$，$\langle u, X \rangle$ 是（实）高斯变量。（例如，若 $E = \mathbb{R}^d$，且 $X_1, \dots, X_d$ 是独立高斯变量，由独立高斯变量和的性质可知，随机向量 $X = (X_1, \dots, X_d)$ 是高斯向量。）

设 $X$ 是取值于 $E$ 的高斯向量。则存在 $m_X \in E$ 和 $E$ 上的非负二次型 $q_X$，使得对每个 $u \in E$，

$$E[\langle u, X \rangle] = \langle u, m_X \rangle,$$

$$\mathrm{var}(\langle u, X \rangle) = q_X(u).$$

事实上，设 $(e_1, \dots, e_d)$ 是 $E$ 的一组标准正交基，在该基下将 $X$ 表示为 $X = \sum_{j=1}^d X_j e_j$。注意到随机变量 $X_j = \langle e_j, X \rangle$ 是高斯的。于是立即可得，前面的公式对 $m_X = \sum_{j=1}^d E[X_j] e_j \stackrel{(\text{not.})}{=} E[X]$ 成立，且若 $u = \sum_{j=1}^d u_j e_j$，则

$$q_X(u) = \sum_{j,k=1}^d u_j u_k \mathrm{cov}(X_j, X_k).$$

由于 $\langle u, X \rangle$ 服从 $\mathcal{N}(\langle u, m_X \rangle, q_X(u))$ 分布，我们得到随机向量 $X$ 的特征函数：

$$E[\exp(\mathrm{i}\langle u, X \rangle)] = \exp\left(\mathrm{i}\langle u, m_X \rangle - \frac{1}{2}q_X(u)\right). \tag{1.1}$$

命题1.2

在上述假设下，随机变量 $X_1, \dots, X_d$ 相互独立当且仅当协方差矩阵 $(\mathrm{cov}(X_j, X_k))_{1 \leq j, k \leq d}$ 是对角的，或者等价地，当且仅当 $q_X$ 在基 $(e_1, \dots, e_d)$ 下是对角形式。

证明 若随机变量 $X_1, \dots, X_d$ 相互独立，则协方差矩阵 $(\mathrm{cov}(X_j, X_k))_{j, k=1, \dots, d}$ 是对角的。反之，若该矩阵是对角的，对每个 $u = \sum_{j=1}^d u_j e_j \in E$，有

$$q_X(u) = \sum_{j=1}^d \lambda_j u_j^2,$$

其中 $\lambda_j = \mathrm{var}(X_j)$。因此，利用(1.1)，

$$E\left[ \exp\left( \mathrm{i}\sum_{j=1}^d u_j X_j \right) \right] = \prod_{j=1}^d \exp\left(\mathrm{i}u_j E[X_j] - \frac{1}{2}\lambda_j u_j^2\right) = \prod_{j=1}^d E\left[\exp(\mathrm{i}u_j X_j)\right],$$

这蕴含 $X_1, \dots, X_d$ 相互独立。
$\square$

与二次型 $q_X$ 相关联，我们引入 $E$ 上唯一的对称自同态 $\gamma_X$，使得

$$q_X(u) = \langle u, \gamma_X(u) \rangle$$

（$\gamma_X$ 在基 $(e_1, \dots, e_d)$ 下的矩阵是 $(\mathrm{cov}(X_j, X_k))_{1 \leq j, k \leq d}$，但显然 $\gamma_X$ 的定义不依赖于基的选取）。注意 $\gamma_X$ 是非负的，即其所有特征值都是非负的。

从现在起，为简化陈述，我们将注意力限制在 中心化高斯向量 上，即满足 $m_X = 0$ 的高斯向量，但以下结果容易推广到非中心化情形。

定理1.3

(i) 设 $\gamma$ 是 $E$ 上的非负对称自同态。则存在高斯向量 $X$ 使得 $\gamma_X = \gamma$。

(ii) 设 $X$ 是中心化高斯向量。设 $(\varepsilon_1, \dots, \varepsilon_d)$ 是 $E$ 的一组基，在该基下 $\gamma_X$ 是对角的，即对每个 $1 \leq j \leq d$，$\gamma_X \varepsilon_j = \lambda_j \varepsilon_j$，其中

$$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_r > 0 = \lambda_{r+1} = \cdots = \lambda_d$$

于是 $r$ 是 $\gamma_X$ 的秩。则

$$X = \sum_{j=1}^r Y_j \varepsilon_j,$$

其中 $Y_j$（$1 \leq j \leq r$）是独立的（中心化）高斯变量，且 $Y_j$ 的方差为 $\lambda_j$。因此，若 $P_X$ 表示 $X$ 的分布，则 $P_X$ 的拓扑支撑是由 $\varepsilon_1, \dots, \varepsilon_r$ 张成的向量空间。此外，$P_X$ 关于 $E$ 上的勒贝格测度绝对连续当且仅当 $r = d$，此时 $X$ 的密度为

$$p_X(x) = \frac{1}{(2\pi)^{d/2} \sqrt{\det \gamma_X}} \exp\left(-\frac{1}{2}\langle x, \gamma_X^{-1}(x) \rangle\right).$$

1.3 高斯过程与高斯空间

从现在起到本章结束，我们仅考虑 中心化高斯变量，且经常省略“中心化”一词。

定义1.4

（中心化）高斯空间是 $L^2(\Omega, \mathcal{F}, P)$ 的一个闭线性子空间，其中仅包含中心化高斯变量。

例如，若 $X = (X_1, \dots, X_d)$ 是 $\mathbb{R}^d$ 中的中心化高斯向量，由 $\{X_1, \dots, X_d\}$ 张成的向量空间是一个高斯空间。

定义1.5

设 $(E, \mathcal{E})$ 是可测空间，$T$ 是任意指标集。取值于 $E$ 的（以 $T$ 为指标的）随机过程 是一族 $(X_t)_{t \in T}$ 的取值于 $E$ 的随机变量。若未指定可测空间 $(E, \mathcal{E})$，我们默认 $E = \mathbb{R}$ 且 $\mathcal{E} = \mathcal{B}(\mathbb{R})$ 是 $\mathbb{R}$ 上的 Borel $\sigma$-域。

在此及本书中，我们用 $\mathcal{B}(F)$ 表示拓扑空间 $F$ 上的 Borel $\sigma$-域。大多数时候，指标集 $T$ 是 $\mathbb{R}_+$ 或实直线的另一个区间。

定义1.6

（实值）随机过程 $(X_t)_{t \in T}$ 称为（中心化）高斯过程，若对任意有限个 $X_t$（$t \in T$）的线性组合都是中心化高斯的。

命题1.7

若 $(X_t)_{t \in T}$ 是高斯过程，则由变量 $X_t$（$t \in T$）张成的 $L^2$ 闭线性子空间是一个高斯空间，称为 由过程 $X$ 生成的高斯空间。

证明 只需注意到由命题1.1，中心化高斯变量的 $L^2$ 极限仍然是中心化高斯的。
$\square$

我们现在转向高斯空间中的独立性性质。我们需要以下定义。

定义1.8

设 $H$ 是定义在 $(\Omega, \mathcal{F}, P)$ 上的随机变量族。由 $H$ 生成的 $\sigma$-域，记为 $\sigma(H)$，是 $\Omega$ 上使所有 $\xi \in H$ 关于该 $\sigma$-域可测的最小 $\sigma$-域。若 $\mathcal{C}$ 是 $\Omega$ 的子集族，我们也用 $\sigma(\mathcal{C})$ 表示 $\Omega$ 上包含 $\mathcal{C}$ 所有元素的最小 $\sigma$-域。

下一定理表明，在某种意义上，独立性等价于高斯空间中的正交性。这是高斯分布的一个非常特殊的性质。

定理1.9

设 $H$ 是中心化高斯空间，$(H_i)_{i \in I}$ 是 $H$ 的线性子空间族。则子空间 $H_i$（$i \in I$）在 $L^2$ 中（两两）正交当且仅当 $\sigma$-域 $\sigma(H_i)$（$i \in I$）相互独立。

注记

向量空间 $H_i$ 是公共高斯空间 $H$ 的子空间这一点至关重要。例如，考虑一个服从 $\mathcal{N}(0, 1)$ 分布的随机变量 $X$，另一个与 $X$ 独立的随机变量 $\varepsilon$ 满足 $P[\varepsilon = 1] = P[\varepsilon = -1] = 1/2$。则 $X_1 = X$ 和 $X_2 = \varepsilon X$ 都服从 $\mathcal{N}(0, 1)$ 分布。此外，$E[X_1 X_2] = E[\varepsilon] E[X^2] = 0$。尽管如此，$X_1$ 和 $X_2$ 显然不独立（因为 $|X_1| = |X_2|$）。在这个例子中，$(X_1, X_2)$ 不是 $\mathbb{R}^2$ 中的高斯向量，尽管两个坐标都是高斯变量。

证明

假设 $\sigma$-域 $\sigma(H_i)$ 相互独立。则若 $i \neq j$，若 $X \in H_i$ 且 $Y \in H_j$，

$$E[XY] = E[X]E[Y] = 0,$$

故线性空间 $H_i$ 两两正交。

反之，假设线性空间 $H_i$ 两两正交。由无限个 $\sigma$-域独立性的定义，只需证明若 $i_1, \dots, i_p \in I$ 是不同的，$\sigma$-域 $\sigma(H_{i_1}), \dots, \sigma(H_{i_p})$ 相互独立。为此，只需验证若 $\xi_1^1, \dots, \xi_{n_1}^1 \in H_{i_1}, \dots, \xi_1^p, \dots, \xi_{n_p}^p \in H_{i_p}$ 是固定的，则向量 $(\xi_1^1, \dots, \xi_{n_1}^1), \dots, (\xi_1^p, \dots, \xi_{n_p}^p)$ 相互独立（事实上，对每个 $j \in \{1, \dots, p\}$，形如 $\{\xi_1^j \in A_1, \dots, \xi_{n_j}^j \in A_{n_j}\}$ 的事件构成一个对有限交封闭的类，生成 $\sigma$-域 $\sigma(H_{i_j})$，由标准的单调类论证可得所需结果，见附录A1）。然而，对每个 $j \in \{1, \dots, p\}$，我们可以找到由 $\{\xi_1^j, \dots, \xi_{n_j}^j\}$ 张成的 $L^2$ 线性子空间的一组标准正交基 $(\eta_1^j, \dots, \eta_{m_j}^j)$。则向量

$$(\eta_1^1, \dots, \eta_{m_1}^1, \eta_1^2, \dots, \eta_{m_2}^2, \dots, \eta_1^p, \dots, \eta_{m_p}^p)$$

的协方差矩阵是单位矩阵（因为 $i \neq j$ 时，$E[\eta_i^j \eta_l^k] = 0$，因 $H_i$ 和 $H_j$ 正交）。此外，该向量是高斯的，因为其分量属于 $H$。由命题1.2，该向量的分量是独立随机变量。这进而蕴含向量 $(\eta_1^1, \dots, \eta_{m_1}^1), \dots, (\eta_1^p, \dots, \eta_{m_p}^p)$ 相互独立。等价地，向量 $(\xi_1^1, \dots, \xi_{n_1}^1), \dots, (\xi_1^p, \dots, \xi_{n_p}^p)$ 相互独立，这就是所需结果。
$\square$