简明随机过程

第1章 预备知识 1.1 概率及其基本性质 1.1.1 概率空间 在概率论中，通常把按照一定的想法去做的事情称为试验.一个试验，若它的结果预先无法确定，则称之为随机试验，简称为试验.试验的每个可能结果称为样本点，样本点的集合称为样本空间.在本书中，用Ω表示样本空间，用ω表示样本点，于是 Ω={ω|ω是试验的样本点}. 样本空间Ω中的样本点ω也称为基本事件.样本空间的子集， 也即由基本事件构成的集合称为事件，通常用大写英文字母A，B，C等表示.样本空间Ω称为必然事件，空集.称为不可能事件.由样本空间Ω中的若干子集构成的集合称为Ω的集类， 用花写的字母A，B，C等表示. 显然，样本空间Ω的集类就是由一些事件构成的集合. 在实际问题中，人们通常不是对样本空间的所有子集都感兴趣， 而是只关心某些事件及其发生的可能性大小.为了方便地在人们感兴趣的事件上定义概率，我们引入如下概念. 定义1.1 设F是样本空间Ω的集类.如果满足 (1) Ω ∈ F; (2) 若A∈F，则对立事件Ac=Ω－A∈F; (3) 若An ∈ F， n=1，2， ，则∪∞n=1 An ∈ F， 则称F为样本空间Ω的一个σ域(或σ代数).将(Ω，F)称为可测空间.F中的元素便是人们感兴趣的事件. 容易验证，若F是样本空间Ω的一个σ域，则有(1)∈F;(2)若A，B∈F，则A－B∈F;(3)若An∈F，n∈N+，则∩∞n=1An ∈ F. 定义1.2 设A为样本空间Ω的集类， 称一切包含A的σ域的交集为由A生成的σ域，或称为包含A的*小σ域，记为σ(A). 例1.1 容易看出，样本空间Ω的集类A0={，Ω}，A1={，A，Ac，Ω}和A2={A:A Ω}都是σ域，而集类不是σ域.由C生成的σ域为 定义1.3则称由A生成的*小σ域σ(A)为R上的Borel σ 域，记为B(R).B(R)中的元素称为Borel集合.类似地， 可定义 Rn上的Borel σ域B(Rn). 定义1.4 设(Ω，F)是一个可测空间，P( )是一个定义在F上的集函数.如果P满足以下条件: (1) 非负性 P(A)≥0， A ∈ F; (2) 完全性 P(Ω)=1; (3) 可列可加性 对两两互不相容的事件Ai ∈ F， i = 1， 2， (即当i≠j时， Ai ∩ Aj = .)，有 那么称P是(Ω，F)上的一个概率测度，简称概率.称(Ω，F，P)为概率空间.称P(A)为事件A的概率.本书约定概率为零的事件的任何子集都属于F.满足这样约定的概率空间通常称为完备的概率空间. 概率具有如下基本性质: (1) P()=0， P(Ac) = 1－P(A) (2) 有限可加性 如果Ai ∈ F， i = 1， 2， ， n，且两两互不相容，那么 (3) 单调性 如果A，B ∈ F， 且 A B，那么P(A)≤P(B). (4) 进出公式 如果Ai ∈ F， i = 1， 2， ， n，那么 (5) 次可列可加性 如果Ai ∈ F， i≥1，那么 1.1.2 概率连续性 下面介绍概率的连续性.为此引入事件序列的极限. 定义1.5 若一个事件序列{An，n≥1}F满足An An+1(或(An An+1))，n≥1，则称该事件序列{An，n≥1}为单调递增事件序列(或单调递减事件序列).若{An，n≥1}是一个单调递增事件序列，则定义若{An，n≥1}是一个单调递减事件序列，则定义 若{An，n≥1}是一个事件序列，则定义 定理 1.1 如果{An，n≥1}是一个单调递增(或单调递减)事件序列，那么 证明 设{An， n≥1}是一个单调递增事件序列，并令 B1=A1，Bn=An－An－1，n≥2. 显然{Bn， n≥1}两两互不相容，而且对于每个n≥1，有，从而于是得到另一种情况的证明，留给读者练习. □ 下面介绍Borel-Cantelli引理， 这是一个常用的一般事件序列的极限性质. 定理 1.2 如果{An，n≥1}是一个事件序列，且满足那么 证明 显然是关于n的单调减事件序列.根据性质(5)和定理1.1得 事件的独立性是事件间的一种重要关系.下面介绍事件的独立性概念. 定义 1.6 如果两个事件A，B ∈ F满足P(AB)=P(A)P(B)，那么称A，B相互独立.如果三个事件A，B，C ∈ F满足 P(AB)=P(A)P(B)，P(AC)=P(A)P(C)，P(BC)=P(B)P(C)和P(ABC)=P(A)P(B)P(C)，那么称A，B，C相互独立.一般地，如果n个事件A1，A2， ，An ∈ F满足对于其中任意k个事件Ai1 ，Ai2， ，Aik，1≤i1　　容易看出，如果事件A1，A2， ，An相互独立，且令F1=σ(Ak，1≤k≤m)， F2=σ(Ak，m+1≤k≤n)，那么对于B1 ∈ F1 和B2 ∈ F2，有B1和B2相互独立. 下面，介绍一个关于独立事件序列的极限性质. 定理1.3 如果事件序列A1，A2， ，An， 相互独立，且，那么 证明 容易知道，对于x≥0，有1－x≤e﹣x成立.由此可得，从而得到 1.1.3 条件概率及相关公式 条件概率是概率论中的重要概念，用途广泛.下面介绍这个概念. 定义 1.7 设A是一个事件，且P(A)>0，则称P(AB)/P(A)为事件A发生下事件B的条件概率，记为P(B|A)，即 由条件概率的定义，易得P(AB)=P(B|A)P(A)，这称为乘法公式.进一步，可得更一般的乘法公式 如果事件A1，A2， 两两互不相容，且Sn An=Ω，那么称{An}为Ω的一个分割.借助于条件概率的概念，容易得到下列全概率公式和贝叶斯公式. 全概率公式 如果事件{An} F为Ω的一个分割，且P(An)>0，那么对于 贝叶斯公式 如果事件{An} F为Ω的一个分割，且P(An)>0，那么对于事件P(A)>0， 容易看出，如果记PA( )=P( |A)，那么PA( )也是可测空间(Ω，F)上的一个概率测度，从而(Ω，F， PA( ))也构成概率空间，而且对于任意的A，B，C∈F，当P(AB)>0时，有PA(C|B)=P(C|AB).类似地，全概率公式也成立，即如果{Bn}是Ω的一个分割，那么对于C∈F，有，也即 习题 1.1 1. 设样本空间Ω={ω1，ω2，ω3}，集类A={{ω1}，{ω2}}，试写出σ(A)中的全部元素. 2. 设F是样本空间Ω的一个σ域，试证明: (1) ∈ F; (2) 若A，B ∈ F，则A－B ∈ F; (3) 若An ∈ F， n ∈ N+，则对于任意n≥1，有∪nk=1Ak ∈ F; ∩nk=1 Ak ∈ F， 以及∩∞n=1An ∈ F. 3. 试证明:概率的基本性质(1)～(5). 4. 设{An， n≥1}是一个单调递减的事件序列，试证明: 5. 设(Ω，F，P)为一个概率空间，A，B，C ∈ F，且P(AB)>0，试证明:P(C|AB)=P(C|A)与P(BC|A)=P(B|A)P(C|A)等价. 1.2 随机变量及其数字特征 1.2.1 随机变量及其分布 定义1.8 设(Ω，F，P)是一个概率空间，X是定义在Ω上取值于实数集R的函数.如果对于任意实数x ∈ R， {ω : X(ω)≤x}∈ F，那么称X(ω)是概率空间(Ω，F，P)上的随机变量，简称为随机变量.函数称为随机变量X的分布函数. 上述定义中样本点ω的集合{ω:X(ω)≤x}是一个事件，一般简记为{X≤x}或{X ∈ (－∞，x]}.容易验证，对于任意实数x，{X≤x}，{X≥x}，{Xx}中只要有一个属于σ域F，那么其余的就都属于F;而且对于两个随机变量X和Y而言，{X　　设X和Y是同一个概率空间(Ω，F，P)上的两个随机变量，若P({X≠Y})=0成立，则称它们是几乎必然相等，记为X=Y a.s 几乎必然的概念在概率论中经常遇到，下面给出它的定义.