條件機率與貝氏定理 - 線代啟示錄

愛因斯坦說：「唯一真正有價值的東西是直覺。

」對於機率問題，直覺卻常常給出錯誤的答案。

條件機率. 在已知事件 C 發生的情況 ... 線代啟示錄 Iseeknottoknowtheanswers,buttounderstandthequestions. Skiptocontent ←每週問題February1, 2016 伯努利試驗→ 條件機率與貝氏定理 Postedon02/01/2016byccjou 本文的閱讀等級：初級 假設有兩個甕，第一個甕裡面有3顆紅球，第二個甕裡面有2顆紅球和1顆白球。

我們隨機選擇一個甕，然後從中抽出2顆球。

假設結果是2顆紅球，留在甕裡的那顆球是紅球的機率有多大？ 我們挑選的甕是第一個甕或第二個甕的機率同為。

從甕中抽出了2顆紅球，如果這是第一個甕，留在甕裡的那顆球便是紅球，如果這是第二個甕，留在甕裡的那顆球則是白球，因此推論答案是。

這個推論過程可能符合許多人的直覺，但為了檢驗這條思路的正確性，我們不妨變換問題敘述看看結果如何。

假設第一個甕裡面有30顆紅球，第二個甕裡面有20顆紅球和10顆白球。

如果從隨機選出的甕中抽出20顆球，結果全部是紅球，你確定留在甕裡的10顆球是紅球的機率仍為？前後兩個問題的題幹相似，但我們可能對後面這個問題的答案抱持懷疑，因為從第二個甕中抽出20顆球，剛好都是紅球的機率似乎不大。

的確，從第二個甕中抽取出20顆紅球的機率為 ， 其中是二項式係數，即從包含30個元素的集合中選取20個元素的組合數(見“二項式係數與組合問題”)。

數字會說話，現在我們改變心意了。

眼前選出的這個甕非常可能是第一個甕，也就是說留在甕裡面的10顆球是紅球的機率接近1。

這意味在原先的問題中，甕裡的那顆球是紅球的機率應該大於。

愛因斯坦說：「唯一真正有價值的東西是直覺[1]。

」對於機率問題，直覺卻常常給出錯誤的答案。

  條件機率 在已知事件發生的情況下，一個事件發生的機率稱為條件機率(conditionalprobability)，記為，定義如下： ， 其中。

從條件機率的定義立刻推得下面的性質： 若，則。

若，則，故。

若，則，故。

不等式是因為。

  例1.投擲一顆公正的六面骰子，樣本空間為。

設表示擲出的點數小於3，表示擲出點數為偶數，則且。

因為，   下面證明條件機率滿足機率函數的三個條件(見“機率學的基本語彙”)： ，因為且。

，因為，可知，故。

若，則。

因為與互斥意味與互斥，則有 機率函數的條件3給出了一個計算兩事件聯集的規則：若，則。

條件機率則給出一個計算兩事件交集的規則：若，則 。

根據對稱性，若，則 。

重複使用條件機率的定義式不難證明下面的鏈式法則(chainrule)： 。

  既然條件機率滿足機率函數的定義，我們也可以用頻率觀點解釋條件機率。

假設進行次試驗，令，和分別表示事件，和發生的次數。

因此，，，，也就有 。

條件機率可以這麼解釋：將事件未發生的試驗扣除，條件機率近似事件在僅保留發生事件的試驗中的相對發生頻率。

條件機率的第一個應用是簡化機率計算，我們用一個例子來說明。

  例2.一個甕裡面有3顆紅球和2顆白球，記為。

我們依序抽出2顆球，第一顆球是紅球且第二顆球是白球的機率是多少？ 第一個方法列出實驗的樣本空間再計算所求事件的機率。

樣本空間包含個有序元素，如下： 。

第一次取出紅球且第二次取出白球共計包含6個結果，因此機率為。

第二個方法使用條件機率。

設表示第一次抽中紅球，則。

設表示第二次抽出白球。

如果發生，甕裡面只剩下2顆紅球和2顆白球，因此。

所以，第一次抽出紅球且第二次抽出白球的機率為 。

  這個例子顯示利用條件機率計算的兩個優勢：第一，當問題的複雜度增加時，樣本空間往往變得很大，使用條件機率則不需要列出完整的樣本空間。

第二，運用條件機率的計算程序把複雜的問題切割成較為簡單的子問題，符合常人的邏輯推理過程。

  全機率公式 考慮一個隨機實驗，若且，，也就是說，事件兩兩互斥且聯集構成樣本空間，我們稱為樣本空間的一個分割(partition)。

根據機率函數條件2與3， 。

對於任一事件，下式稱為全機率公式(lawoftotalprobability)： 。

證明於下：寫出事件的分解表達式 。

順便一提，有些機率學教科書將寫成，並將寫成。

因為交集與聯集服從適用於乘法與加法的分配律，這麼做的好處是幫助記憶並避免出錯，譬如上式可以表示為 。

因為與互斥，，可知與互斥，故 ， 其中，，證畢。

  全機率公式是機率計算的一種分治法(divide-and-conquer)，將樣本空間分割為全無遺漏的互斥集合，分別計算所求事件與各個被劃分的集合同時發生的機率，最後再加總在一起。

設，全機率公式為 ， 也就是說，是的線性組合，組合權重即為條件機率。

全機率公式惟當以及條件機率都很容易計算時才能發揮效果。

在實際應用時，樣本空間的分割通常由問題現象與情境決定。

  例3.假設有兩個甕，第一個甕裡面有3顆紅球，第二個甕裡面有2顆紅球和1顆白球。

我們隨機挑選一個甕，然後從中抽出2顆球，抽中2顆紅球的機率是多少？ 樣本空間包含5顆紅球和1顆白球，。

順應題意，將樣本空間分割為和。

因為我們任選一個甕，。

設表示抽中2顆紅球，根據全機率公式，   獨立事件 兩個事件和稱為獨立(independent)，若 。

在機率學中，獨立性是一個非常重要的概念。

獨立事件有另一個等價的定義方式，因為，推知與是獨立事件，若，意思是事件是否發生與事件發生與否沒有關係。

根據對稱性，我們也可以說與是獨立事件，若，即事件是否發生與事件發生與否沒有關係。

獨立性可以推廣至多個事件。

事件稱為相互獨立(mutuallyindependent)，若兩兩獨立且。

  例4.投擲一枚公正硬幣兩次，第一次投擲出現正面與第二次投擲出現正面是獨立事件。

設表示第一次出現正面，表示第二次出現正面，則，且。

例5.投擲一顆公正骰子，設表示擲出點數為奇數，表示擲出點數為質數(素數)，與是獨立事件嗎？寫出和，則，但，可知與並非獨立事件。

事實上，，。

  我們將在重複試驗問題中看見獨立性的價值，這裡僅介紹獨立事件的一些性質： 若與是獨立事件，則與是獨立事件，且與也是獨立事件。

寫出，其中和互斥，故 繼續上面的性質，與是獨立事件蘊含與是獨立事件。

若是相互獨立事件，其中任一個事件與其餘兩個事件的交集是獨立的。

寫出 ， 故與是獨立事件。

若是相互獨立事件，其中任一個或多個事件以補集取代仍構成相互獨立事件。

寫出，則 若是相互獨立事件，其中任一個事件與其餘兩個事件的聯集是獨立的。

使用前述性質，是相互獨立事件，再者與是獨立事件，推論與是獨立事件。

  貝氏定理 設和為兩個事件，，。

合併兩個條件機率 ， 可得 。

這個等式稱為貝氏定理(Bayes’theorem)，最早由英國數學家貝葉斯(ThomasBayes)提出，之後法國數學家拉普拉斯(Pierre-SimonLaplace)給出目前所見的表達式。

貝氏定理常以嵌入全機率公式的形式出現，設為樣本空間的一個分割，則 。

  貝氏定理的應用非常廣泛，大體上說，只要問題涉及以條件機率計算的數據推論幾乎不免使用貝氏定理。

我們先利用貝氏定理解答本文初提出的問題，之後再討論貝氏定理的涵義。

  例6.假設有兩個甕，第一個甕裡面有3顆紅球，第二個甕裡面有2顆紅球和1顆白球。

我們隨機選擇一個甕，然後從中抽出2顆球。

假設結果是2顆紅球，留在甕裡的那顆球是紅球的機率有多大？ 如例3，將樣本空間分割為和。

設表示從一個甕中抽出2顆紅球，我們的問題要算出，即留在甕裡的那顆球是紅球的機率。

根據貝氏定理， 如果將問題改成從一個甕中抽出1顆球，假設是紅球，則甕裡面有2顆紅球的機率是多少？同樣地，我們以貝氏定理解答。

設代表從一個甕中抽出1顆紅球，則 。

這個結果顯示給定不同的已知條件(如與)，事件發生的機率也隨之改變。

  最後我們討論貝氏定理的意義並用蒙提霍爾問題(MontyHallProblem)當例子說明(見“蒙提霍爾問題”)。

事件表示一項已知的事證(evidence)，是這個事證發生的機率(見“貝氏定理──量化思考的利器”)。

樣本空間的分割可以看成所有的實驗結果劃分出的類別(class)。

對於每一個類別，稱為事前機率或先驗機率(priorprobability)，意思是在沒有看見任何事證之前，實驗結果屬於類別的機率。

一旦得知了事證，我們便可以根據它計算發生的機率，稱為事後機率或後驗機率(posteriorprobability)，意思是在事證發生之後，實驗結果屬於類別的機率。

特別要注意的是表示給定類別，事證出現的機率，稱為似然函數(likelihoodfunction)。

使用貝氏定理於思考推理的一個前提是我們必須依據問題陳述正確地界定事後機率與似然函數。

下面這個例子稱為蒙提霍爾問題。

  例7.假設你正在參加一個遊戲節目，你被要求在三扇門中選擇一扇：其中一扇後面有一輛車；其餘兩扇後面則是山羊。

你選擇了一道門，假設是1號門，然後知道門後面有甚麼的主持人，開啟了另一扇後面有山羊的門，假設是3號門。

他然後問你：「你想選擇2號門嗎？」轉換你的選擇對你來說具有優勢嗎？ 我們先對問題做一些假設： 車子隨機置放於一扇門後面。

主持人不會打開你選擇的那扇門，他只能打開其他的兩扇門之一。

主持人絕對不會打開有車子的那扇門，如果兩扇門後面都是山羊，他將隨機打開其中的一扇門。

假設我們挑選了1號門。

設分別代表車子在1,2,3號門後面，也就是說是樣本空間的分割。

設表示主持人打開了3號門，根據這個事證，我們的問題等價於計算兩個條件機率：如果不轉換選擇，贏得車子的機率，以及如果轉換選擇，贏得車子的機率。

套用貝氏定理， 根據假設，。

再者，，因為主持人可以打開2號門或3號門。

但，因為2號門後面有車子，他只能開3號門。

類似地，。

將數值代入計算，可得 ， 。

所以，轉換選擇可贏得車子的機率大於不轉換選擇可贏得車子的機率。

  如果不使用貝氏定理，該如何解答蒙提霍爾問題呢？講穿了，其實很簡單。

若無論主持人打開那一扇門我們都不轉換選擇，則贏得車子的機率為[2]。

既然如此，轉換選擇可贏得車子的機率必定是，因為這個遊戲節目只可能有兩個結果：贏或沒贏。

  下一篇我們將討論重複試驗，以及一些可以幫助計算機率的有用工具。

在此之前，讀者不妨嘗試解答這個問題： 一個工廠生產的燈泡不良率為0.1%，在一批1,000個燈泡的出貨中，恰好有一顆燈泡是瑕疵品的機率有多大？   註解： [1]原文：“Theonlyrealvaluablethingisintuition.” [2]故事一：在一個暴風夜，你和兩個朋友一起走獨木橋渡河，上帝決定只讓一個人抵達彼岸。

三人行走至橋中間，你的一個朋友不幸失足落河，你為此感到高興，因為你可以安全過河的機率從提高到。

故事二：你和兩個朋友一起被關在地牢裡，撒旦決定只讓一個人存活，令每人吞服一顆藥丸，其中一顆是維他命，另兩顆是毒藥。

過了三分鐘，你的一個朋友口吐白沫死了，但你無須感到高興，因為你早已經服下藥丸，倖存的機率依然是。

繼續閱讀： 伯努利試驗 Sharethis:EmailPrintFacebookTwitterLikethis:LikeLoading... Thisentrywaspostedin機率統計andtagged獨立事件,貝氏定理,全機率公式,條件機率.Bookmarkthepermalink. ←每週問題February1, 2016 伯努利試驗→ 8Responsesto條件機率與貝氏定理 txshisays: 02/08/2016at10:54pm 最近为了学机器学习正在恶补数学基础，时常希望在概率统计这个领域里能看到与线代启示录媲美的中文博客，没想到老师也在写概率方面的文章了，非常期待。

祝周老师新年快乐，身体健康，工作顺利，阖家幸福 Reply ccjousays: 02/08/2016at11:45pm 謝謝，我也祝福讀者朋友們 身無疾，體無病，心無罣礙 囊有錢，倉有米，腹有詩書 Reply 黃舶暢says: 06/05/2016at2:49am 老師您好，請問例3.問”抽中2顆紅球”，因此P(A|U2)的機率是否為2/3? Reply ccjousays: 06/05/2016at7:15am 你可以用例2介紹的兩種方法計算。

Reply Joansays: 07/18/2017at11:17am A為抽出兩紅球的事件 P(A|U1)=3/3=1,P(A|U2)=1/3=1/3 P(A)=1/2*1+1/2*1/3=2/3 P(U1|A)=(1/2)/(2/3)=3/4 個人見解,若錯誤怪 Reply 曾晨維says: 11/16/2017at2:57pm 老師好,可否請老師些一篇關於條件p.d.f和條件p.m.f還有連續跟離散混和的條件機率的觀念.因為有點搞不太清楚這些觀念不行也沒關西打擾了 Reply Pingback:貝氏分類器的直觀理解(上)-貝氏定理的推導–Epic ConanYangsays: 03/08/2019at2:34pm 貝氏定理在生活中很有用，可是它到底怎麼算？https://whogovernstw.org/2019/03/07/tseminlin13/#comment-66870 Reply LeaveaReplyCancelreply Enteryourcommenthere... Fillinyourdetailsbeloworclickanicontologin: Email(required)(Addressnevermadepublic) Name(required) Website YouarecommentingusingyourWordPress.comaccount. ( Log Out /  Change ) YouarecommentingusingyourTwitteraccount. ( Log Out /  Change ) YouarecommentingusingyourFacebookaccount. ( Log Out /  Change ) Cancel Connectingto%s Notifymeofnewcommentsviaemail.Notifymeofnewpostsviaemail. Δ 搜尋(繁體中文或英文) Searchfor: 訊息看板 近期文章 每週問題June26, 2017 每週問題June19, 2017 每週問題June12, 2017 每週問題June5, 2017 每週問題May29, 2017 線性代數專欄其他主題專欄每週問題數據充分性問題其他分類RecentComments ZhuoyuHeon分塊矩陣的行列式ungaon奇異值分解的幾何意義tobinwangon特殊矩陣(6)：正定矩陣TerminologyofRecom…on內積的定義陳宗為on動差生成函數(上)陳宗為on動差生成函數(上) 近期最多人點閱三階逆矩陣公式奇異值分解(SVD)線性代數基本定理(一)內積的定義如何學好線性代數？正定矩陣的性質與判別方法歐拉恆等式──最優美的數學定理特殊矩陣(9)：Hermitian矩陣行列式的運算公式與性質你不能不知道的矩陣秩分類分類 SelectCategory 無關線代  (23) 特別主題  (20) 答讀者問  (49) 網友分享  (2) 線性代數專欄  (426)    特徵分析  (76)    特殊矩陣  (23)    線性變換  (33)    線性方程  (30)    行列式  (32)    證明細解  (4)    內積空間  (28)    典型形式  (27)    向量空間  (47)    應用之道  (42)    數值線性代數  (29)    二次型  (42)    仿射幾何  (11) 隨筆雜談  (18) 試閱  (2) 周老師時間  (16) 問題回報  (24) 圖論  (12) 布告欄  (22) 希爾伯特空間  (4) 數據充分性問題  (3)    DSQ特徵分析  (1)    DSQ向量空間  (2) 機率統計  (21) 機器學習  (8) 每週問題  (435)    pow特徵分析  (87)    pow線性變換  (23)    pow線性方程與矩陣代數  (56)    pow行列式  (55)    pow內積空間  (57)    pow典型形式  (9)    pow向量空間  (75)    pow二次型  (73) Archives Archives SelectMonth June2017 (4) May2017 (5) April2017 (4) March2017 (4) February2017 (6) January2017 (11) December2016 (5) November2016 (5) October2016 (5) September2016 (4) August2016 (5) July2016 (4) June2016 (4) May2016 (10) April2016 (6) March2016 (10) February2016 (11) January2016 (7) December2015 (11) November2015 (9) October2015 (8) September2015 (11) August2015 (14) July2015 (8) June2015 (11) May2015 (5) April2015 (5) March2015 (6) February2015 (4) January2015 (7) December2014 (9) November2014 (5) October2014 (4) September2014 (5) August2014 (5) July2014 (5) June2014 (11) May2014 (10) April2014 (12) March2014 (14) February2014 (15) January2014 (10) December2013 (16) November2013 (14) October2013 (19) September2013 (15) August2013 (13) July2013 (13) June2013 (18) May2013 (16) April2013 (14) March2013 (6) February2013 (8) January2013 (13) December2012 (16) November2012 (18) October2012 (17) September2012 (10) August2012 (8) July2012 (10) June2012 (15) May2012 (12) April2012 (12) March2012 (11) February2012 (10) January2012 (7) December2011 (5) November2011 (4) October2011 (6) September2011 (5) August2011 (5) July2011 (8) June2011 (13) May2011 (14) April2011 (11) March2011 (11) February2011 (10) January2011 (12) December2010 (12) November2010 (13) October2010 (8) September2010 (11) August2010 (15) July2010 (7) June2010 (13) May2010 (12) April2010 (12) March2010 (14) February2010 (14) January2010 (12) December2009 (12) November2009 (14) October2009 (10) September2009 (13) August2009 (14) July2009 (12) June2009 (12) May2009 (12) April2009 (15) March2009 (39) 標籤雲 Cayley-Hamilton定理 Frobenius範數 Gram-Schmidt正交化 Gramian矩陣 Hermitian矩陣 Householder矩陣 Jordan典型形式 LU分解 QR分解 Schur定理 SVD Vandermonde矩陣 三角不等式 不變子空間 么正矩陣 二次型 代數重數 伴隨矩陣 內積 冪矩陣 冪等矩陣 冪零矩陣 分塊矩陣 列空間 半正定矩陣 反對稱矩陣 可交換矩陣 可逆矩陣 向量空間 圖論 基底 基本列運算 奇異值 奇異值分解 實對稱矩陣 對角化 座標變換 微分方程 投影矩陣 排列矩陣 旋轉矩陣 最小多項式 最小平方法 正交性 正交投影 正交矩陣 正交補餘 正定矩陣 正規矩陣 特徵值 特徵向量 特徵多項式 特殊矩陣 相伴矩陣 相似 矩陣乘法 矩陣多項式 矩陣指數 矩陣範數 矩陣譜 秩 秩─零度定理 簡約列梯形式 組合數學 線性獨立 線性變換 線性變換表示矩陣 行列式 行空間 譜分解 跡數 逆矩陣 通解 零空間 高斯消去法 線代線上影音課程 Essenceoflinearalgebra(3Blue1Brown) KhanAcademy(SalmanKhan) MITOCW(GilbertStrang) 國立台灣大學OCW(蘇柏青) 國立清華大學OCW(趙啟超) 國立交通大學OCW(莊重) 國立交通大學OCW(巫木誠) 線代學習網站 用maxima學數值分析─特徵值和特徵向量 FreeOnlineBooks MathInsight MITOCW Wikibooks:LinearAlgebra WolframDemonstrationProject 線代電子書 AFirstCourseinLinearAlgebra(RobertA.Beezer) FundamentalsofLinearAlgebra(JamesB.Carrell) LinearAlgebra(JimHefferon) LinearAlgebraDoneWrong(SergeiTreil) LinearAlgebraProblems(JerryL.Kazdan) LinearAlgebraviaExteriorProducts(SergeiWinitzki) LinearAlgebra,TheoryandApplications(KennethKuttler) MatrixAnalysisandAppliedLinearAlgebra(CarlD.Meyer) NotesonLinearAlgebra(PeterJ.Cameron) 矩陣計算器 JordanFormCalculator MatrixCalculator OnlineMatrixCalculator LaTeX OnlineLaTeXEquationEditor Wikibooks:LaTeX Blogroll 陰暗的小角落 MarkChang'sBlog 尼斯的靈魂 微積分福音 訂閱 請輸入您的email，當有新文章發表時，您將會收到通知。

訂閱之後您隨時可以取消訂閱。

Join657otherfollowers EmailAddress: 我要訂閱 閱讀導引學習資源 專題探究 急救查詢其他分頁 Meta Register Login Entriesfeed Commentsfeed WordPress.com 網路狀態 AutomatticStatus WordPressForums BlogStats 7,172,593hits Copyright©2009-2019ccjou Allrightsreserved 歡迎轉載，但須列明來源。

線代啟示錄 CreateafreewebsiteorblogatWordPress.com. Privacy&Cookies:Thissiteusescookies.Bycontinuingtousethiswebsite,youagreetotheiruse. Tofindoutmore,includinghowtocontrolcookies,seehere: CookiePolicy Follow Following 線代啟示錄 Join657otherfollowers Signmeup AlreadyhaveaWordPress.comaccount?Loginnow. 線代啟示錄 Customize Follow Following Signup Login Copyshortlink Reportthiscontent ViewpostinReader Managesubscriptions Collapsethisbar %dbloggerslikethis: