機率

定義: 如果P( ) = 1, 則稱( , F, P) 為一機率空間(probability measure space). ... F: 稱為事件空間(event space). 例子. 擲兩次銅板的試驗.(h: 頭像面, t: 另一面). 機率 機率空間 歷史切片 事件;獨立事件 almostsurely 隨機變數 lawofX 期望值;變異數;標準差 Chebyshev's定理 獨立隨機變數 向量隨機變數 協方差;相關係數 性質 重複實驗 大數法則 Xn收斂到Xa.s.;Xn收斂到Xinprobability 強大數法則;弱大數法則. 中央極限定理 cumulativedistributionfunction densityfunctionofalaw(p.d.f.) convolutionoftwomeasures characteristicfunctionofP Gaussiandistribution 機率空間 背景符號::一個集合.F:一個由的子集合所形成的-algebra.P:一個在F上的非負測度.(通常背景有一個隨機試驗) 定義:如果P()=1,則稱(,F,P)為一機率空間(probabilitymeasurespace). :稱為樣本空間(samplespace).中的元素稱為outcome或stateofnature,通常用符號表示(即.) 如果為countable,則稱為離散型(discretesamplespace).如果是Rn空間(或其中之區域),則稱為連續型(continuoussamplespace). F:稱為事件空間(eventspace). 例子. 擲兩次銅板的試驗.(h:頭像面,t:另一面) ={hh,ht,th,tt}(離散,有限型). 擲銅板,直到與第一次同一面再出現時就停止. ={hh,tt,hth,tht,htth,thht,...}(離散,可數,無限型) 如果擲銅板,正反兩面出現的機率設為p與q=1-p,可算出P()=1. ={序列(an)|an=0或1}(不可數,無限型). 令g((an))=(i.e.將序列(an)對應到binaryexpansion).除了dyadicrationalnumber{k/2n|k,nN}外,[0,1]中的點有唯一的binaryexpansion,設g已是一對一函數. F=g-1(M)(M為[0,1]上的Lebesgue可測集合)2. 定義:對EF,P(E)=(g(E)),此處是實數上的Lebesgue測度. P()=([0,1])=1,因此(,F,P)為一機率空間. 如果擲銅板,正反兩面分別標記為0,1.二者出現的機率設均為1/2.每次實驗擲n次,用(1,0,...,1)(n個)代表某一可能結果,則此結果發生的機率為1/2n.當n,每一可能結果機率為0,並不合理.因此,(也)可以此模式來處理機率問題.這是將測度空間稱為機率空間的原因. 如果為uncountable.令T={x:P(x)>0},可證得T是可數的.也就是大部分的點發生機率都是0. 或從另一角度來看,如果每一點發生的機率都相同,則每一點的機率都必須是0. 這也說明了離散式的機率對不可數的樣本空間並不是一個合理的模式. 用物理眼光看,設質點總質量為1.假設這些質點分佈在實數軸上,如果存在離散型的質點分佈,則此種質點一定是可數的. 歷史切片. 上所定義抽象的機率空間,是遵循AnderyKolmogorov(1903-1987)的定義(FoundationoftheTheoryofProbability,1933,Berlin),常稱為Kolmogorov公設. 抽象機率空間包含了古典離散型與連續型機率. top 定義 事件(events). F中的可測集,在機率空間中稱為事件. 例子. 擲銅板.={H,T}.F={{H},{T},{H,T},}.events:{H},{T},{H,T}, almostsurely. 設E為一事件,如果P(E)=1,則稱E"happenalmostsurely"(a.s.) 獨立事件(independentevents) A,B稱為對P之獨立事件(independentforaprobabilitymeasureP)P(AB)=P(AB)=P(A)P(B). 性質. 設A,B為獨立事件,則A與Bc;Ac與B亦為獨立事件. 例. 擲兩次銅板,P(H)=P(T)=1/2.事件A={第二次為H},B={第一次為H}.則P(A)=P(B)=1/2;P(AB)=1/4.因此A,B為獨立事件. 有兩個孩子的家庭.設男孩(B),女孩(G)有相同機率.={BB,BG,GB,GG}. 事件E={至多一個女孩},F={有男孩也有女孩}.則P(E)=3/4,P(F)=1/2,P(EF)=1/2.因此E,F不是獨立事件. 有三個孩子的家庭.設男孩(B),女孩(G)有相同機率.={BBB,BBG,BGB,BGG,GGG,GGB,GBG,GBB}. 事件E={至多一個女孩},F={有男孩也有女孩}.則P(E)=1/2,P(F)=3/4,P(EF)=3/8.因此E,F是獨立事件.(與上一例比較) top 隨機變數 隨機變數(randomvariable) 設(,F,P):一機率空間.(S,B):一測度空間(此處並未提及其上之測度).X:S為一可測函數,則X稱為一隨機變數(randomvariable),S稱為statespace. 如果S=R,則通常取B為Borelset.且稱X為實隨機變數. "randomvariable"有時也記為"stochasticvariable"或"chancevariable"."stochastic"一字,似乎由JokobBornoulli啟用,源自希臘字"chance". 例子. 擲銅板.正面得3元,反面得5元. ={h,t}.X(h)=3,X(t)=5. 則X為實隨機變數. k個候選者,100張選票. ={(a1,a2,...,ak)|1aik}.X:投給甲的票數. 擲飛鏢. ={(x,y)|x2+y2r2}代表飛鏢圓盤,靶心為圓心. X(x,y)=,此為(x,y)之極座標角度. Bernoulli試驗(Bernoullitrial). ={成功,失敗}.X(成功)=1,X(失敗)=0. Bernoulli序列試驗(Bernoullisequenceoftrials),作n次. ={(a)=(a1,a2,...,an)|ai為成功或失敗}.對i=1,2,...,n,定義實隨機變數Xi為:如果ai=1(第i次成功),Xi(a)=1,否則為0. 定義X=X1+X2+...+Xn,則X代表n次試驗中成功的次數. lawofX PX=是定義在B上的一個機率測度.則(S,B,PX)稱為X的樣本空間. 而PX稱為lawofX. PX亦稱為在B上的(probability)distribution或pushforwardmeasureofthe(probability)distribution. 令Q=PX,則Q為定義在R上Borelset的一個機率測度.此種定義在R上Borelset的機率測度,也稱為lawonR. 若為離散型,p(x)=PX({x})滿足p(x)0,xp(x)=1. p(x)稱為X的probabilityfunction或probabilitymassfunction. (列表)陳列全貌時也常稱作probabilitydistributionofX. 例子. 擲銅板. ={h,t}.正反兩面出現的機率均為1/2.X(h)=3,X(t)=5. PX:對ER,E為Borel集,如果3,5不屬於E,PX(E)=0;如果3,5中恰有一個屬於E,PX(E)=1/2;如果3,5中都屬於E,PX(E)=1. 在{1,2,...n}上的均勻機率(uniformprobability)on{1,2,...,n}:對所有j,P{j}=1/n. 在[1,4]上的均勻分佈(uniformdistribution):對BorelsetA,P(A)=((A[1,4])/3. 設A1,A2,...,An互為獨立事件.對所有j,P(Aj)=p(即發生Aj的機率都相同).令q:=1-p.則在此n個事件中,有k次發生,n-k次不發生的機率是 p(k)=b(k,n,p):=pkqn-k,稱為binomialdistribution. n=1時稱為Bernoullidistribution. 歷史切片. 上述可適用於在相同環境之下的n次重複且彼此獨立之試驗.JakobBernoulli(1654-1705)曾深入研究過此模式.因此也稱為Bernoullisequenceoftrials.設試驗成功的機率為p,失敗的機率為1-p,則 P(k)=b(k,n,p)代表k次成功的機率.稱為binomialcoefficient. top 期望值(expectation). 如果隨機變數X:R,且B為Borelset,則定義p X之期望值(expectationormean)EX為(如果積分存在). 如果是離散型,則=. 例.甲,乙擲銅板.如果是head,甲給乙1元.如果是tail,乙給甲1元. 設P(h)=p,P(t)=1-p,則甲的預期所得是EX=1-2p.(考慮X(h)=-1,X(t)=1)) X的變異數(variance) 如果EX20,Var(Y)>0,定義r(X,Y)=. 並稱r(X,Y)為X,Y的相關係數(correlationcoefficient). top 獨立隨機變數. 向量隨機變數(vectorrandomvariable) 設(S,U),(T,V)為測度空間,X:S,Y:T為二隨機變數.定義,稱為向量隨機變數(vectorrandomvariable). 例.同時擲一個骰子與一個銅板.X:骰子的點數.Y(h)=1,Y(t)=0. 則的對應域為 {(1,0),(2,0),(3,0),(4,0),(5,0),(6,0),(1,1),(2,1),(3,1),(4,1),(5,1),(6,1)}. X,Y為獨立隨機變數P=PXPY.(有限個獨立隨機變數定義亦同) 此時,對任意可測集UU,VV,P(XU,YV)=P(XU)P(YV). 無窮多獨立隨機變數. 無窮多隨機變數稱為獨立若且唯若其中任意有限個隨機變數是獨立的. top 性質. 設X,Y為二隨機變數,則E(cX+Y)=cEX+EY. 如果X,Y是獨立的,且E|X|,E|Y|0,limnP(|Xn-X|>)=0. X1,X2,...,滿足強大數法則存在常數c,使得An收斂到ca.s. X1,X2,...,滿足弱大數法則存在常數c,使得An收斂到cinprobability. 隨機變數Xn稱為identicallydistributedn,PXn=PX1. 隨機變數Xn稱為independentandidenticallydistributed(簡稱"i.i.d.")n,Xn互為independent且PXn=PX1. 例:Xj:獨立實隨機變數,j=1,2,....如果第j次試驗成功,則定義其值為1,否則定義其值為0. 即:={(a)=(a1,a2,...)|aj=0或1}.若aj=1,Xj(a)=1,否則為0. P(Xj=1)=p=1-P(Xj=0).{Xj}為i.i.d. 若Xn為i.i.d.,每一Xi之期望值為,variance為2. 則E(An)=;Var(An)=2/n(0當n). 定理. 若X1,X2,...為實隨機變數,j:EXj=0,EXj2=1,;對ij,EXiXj=0(即{X1,X2,...}在L2(,P)為orthonormal). 則X1,X2,...,滿足弱大數法則,An收斂到0. 證明之工具.TheBienayme-ChebyshevInequality. X:實隨機變數,t>0,則P(|X|t)EX2/t2. 推論. 若X1,X2,...為i.i.d.隨機變數,每一Xi的期望值為,Variance為2>0,則Aninprobability. 即:X1,X2,...,滿足弱大數法則. (將定理用在隨機變數(Xj-)/)即可證明.) 定理. 設隨機變數Xn為"i.i.d.".若E|X1|1,F(x)=1. F(x)是[0,1]上之uniformlaw之cumulativedistribution. 性質. 函數F為cumulativedistribution F為漸增,右連續,且當x-時,F(x)0;當x時,F(x)1. 且所對應的law是唯一的. 歷史切片. Cumulativeprobability,離散型在JakobBernoulli(1654-1705)的工作中已提及;連續型在Pierre-SimonLaplace(1749-1827)的書中(1812)出現. 定義:convergeindistribution. 設Xn,n=1,2,...與X為實隨機變數,Fn(x),F(x)分別為對應的cumulativedistributionfunction. 則XnconvergetoXindistribution對每一F的連續點x,limnFn(x)=F(x). densityfunctionofalaw(pdf) 設P對Lebesgue測度為絕對連續(absolutelycontinuous). f稱為P的desityfunctiondP/d=f. 意即,對所有BorelsetA,P(A)=.且對實數x,F(x)=. convolutionoftwomeasures 設,為R上的兩個有界測度,定義與的convolution(符號:*)為 (*)(A)=,A-x:={z-x|zA}. 性質. 若,,均為Borel測度,則 *=*. (*)*=*(*). 若PX=,PY=,則PX+Y=*.因此*也是一個probability測度. f:RR為一probabilitydensityfunctionf可測,f0,且. 設P,Q均為R上的law.f,g分別為P,Q的densityfunction. 則P*Q之densityfunction為h(x)=. 例. P:standardexponentialdistribution,其pdf為f(x):=e-x,x[0,],f(x)=0,x<0. 則P*P之pdf為xe-xx0,為0x<0. characteristicfunctionofP P:lawonR.ThecharacteristicfunctionofP是:fP(t):=,tR.(即fP相當於是P的Fourier轉換). Gaussiandistribution 以為densityfunction的lawN(m,2),稱為Gaussian(或normal)distributiononR,其中. N(0,1)稱為standardnormaldistribution.(二維Gaussiandistribution) 中央極限定理 設X1,X2,...,為independent,identicallydistributed實隨機函數.E(Xi)=0,0