logo |

資訊

    首頁   >     行業    >     正文

    真正的高手,一生都在貫徹貝葉斯定律!

    摘要:丹尼爾.卡尼曼在他的《思考,快與慢》裏,就特地強調了初始概率對貝葉斯方法的重要性。如何獲得相對靠譜的初始概率,是個硬功夫,它需要你的經驗、人脈、平時的深度思考,有時甚至和底層的價值觀、思維方式都有關。
    image.png

      丹尼爾.卡尼曼在他的《思考,快與慢》裏,就特地強調了初始概率對貝葉斯方法的重要性。如何獲得相對靠譜的初始概率,是個硬功夫,它需要你的經驗、人脈、平時的深度思考,有時甚至和底層的價值觀、思維方式都有關。

      先講一個真實的故事。

      我的一個夫妻朋友有了二胎,由於太太年齡較大,所以醫生警告說,你們的孩子有可能會得唐氏綜合症。朋友很緊張,那怎麼辦?醫生說,可以做羊水穿刺,以確診是不是真的得了。朋友很開心。不過呢,醫生又說,羊水穿刺也有可能會失敗,那樣你們的孩子就沒了。這下朋友糾結了,一邊是唐氏綜合症,一邊是孩子沒了,這可怎麼做決定?

      醫生後來又說,高齡產婦得唐氏綜合症的概率大約是2%,羊水穿刺檢測失敗的概率大約是1%。這下簡單了,堅決不做啊。

      所以,我們發現,一旦知道了某件事情發生的準確概率,我們的決定就瞬間簡單了起來。但問題是,我們怎麼能知道這些概率呢?

      很多人覺得所謂的概率,都是計算出來的。一枚硬幣,正反面各50%,一個袋子裏100個球,30個黑球,70個紅球 ,摸出一個紅球的概率是70%。

      那假設一個黑盒子,你事先不知道裏面多少黑球,多少紅球,怎麼辦呢?其實,現實世界裏,我們面臨的絕大多數情況都沒法計算,都是黑盒子卻需要去判斷概率的問題。

      頻率派和貝葉斯派

      傳統的方法叫頻率派。關於頻率和概率的區別,很多人不熟悉。簡單的說,概率說的是事情未來發生的可能性,而頻率說的是對某事情進行觀察或者實驗,發生的次數和總次數的比值。概率是事情本身的一個固有屬性,是一個固定值,而頻率是變化的,樣本越大,頻率越接近概率。根據大數定理,當樣本無窮大時,頻率等於概率。

      你拋硬幣10次,不見得會正面反面各5次,但是你拋1萬次,那基本是正反各50%。比如那個黑盒子,你不斷的從裏面隨機的拿球出來,統計黑球和紅球的比例,次數“足夠多”時,你得到的那個頻率,就接近真實的概率。

      這個方法用了上百年,現在仍然被廣泛使用,比如某某疾病的發病率,飛機和火車的出事概率等等 ,都是利用大樣本的統計,逼近真實概率。

      但是,我們稍微深入的思考一下,就會發現這個方法的兩個局限:第一,你只有積累了一定數量的樣本,才能有一個對概率的初步判斷,你只扔5次,只取10個球,基於小樣本得出的概率很可能錯的離譜。第二,如果這個黑盒子夠黑,你連裏面總共有多少個球都沒概念,甚至裏面的球的總數量都是變化的,這時你就沒法判斷什麼叫“足夠多”。

      現實世界裏,我們碰到的大量問題,根本找不到這麼多現成的數據。還有很多新興事物,壓根沒有先例,一種新發現的疾病,一個新的產品,一種新的市場策略,那怎麼判斷概率呢?瞎蒙嗎?

      也對,也不對。

      這就需要貝葉斯學派了。

      貝葉斯學派的觀點是,概率是個主觀值,完全就是我們自己的判斷,我可以先估計一個初始概率 ,然後每次根據出現的新情況,掌握的新資訊,對這個初始概率進行修正,隨著資訊的增多,我就會慢慢逼近真實的概率。這個方法完美的解決了頻率派的兩個問題,我不用等樣本累積到一定程度,先猜一個就行動起來了,因為我有修正大法,而且我也不關心是不是“足夠多”,反正我一直在路上。

      貝葉斯學派誕生兩百多年來,一直倍受爭議,甚至連co-founder拉普拉斯自己都放棄了,因為大家覺得這個摸著石頭過河的方法太扯了,太不科學了。直到最近幾十年,隨著電腦技術的進步才大放異彩,現在的人工智慧、圖像識別、機器翻譯等,背後無不採用了貝葉斯方法。

      那我們需要看看,貝葉斯方法究竟是怎麼摸著石頭過河的。

      貝葉斯定理(Bayes' Theorem)

      這一部分涉及一些數學公式和計算,但說實話 ,只需要小學算術水準就可以了。

      貝葉斯定理如下:

      A是你要考察的目標事件,P(A) 是這個目標事件的先驗概率,又叫初始概率,或者基礎概率。B是新出現的一個新事件。P(A|B) 的意思是當B出現時A的概率,在這裏就是我們需要的後驗概率。P(B|A) 是當A出現時B的概率。P(B) 是B出現的概率,在這裏具體計算稍微複雜一些,指當A出現時B的概率和當A不出時(用A_來表示)時B的概率的總和,用公式表達就是 P(B) = P(B|A) * P(A) + P(B|A_) * P(A_)。P(B|A) / P(B) 可以看作一個修正因數。

      上述解釋你可以忽略,簡化的理解為:

      後驗概率 = 先驗概率 x 修正因數

      舉個例子。

      比如你新進入一家公司,你不確定這裏MBA學歷對員工升遷的作用,而這個對你的個人發展很重要,因為你要決定接下來是不是去讀一個MBA學位。由於新來,壓根沒有樣本,這時候你可以採用貝葉斯定理。

      P(A) 是你根據過往經驗事先估計的,MBA對升遷有多大好處?比如你先預估一個30%。這時候,出現了一個新資訊B,小王升遷了,而且小王是MBA。那麼,P(B|A) 是說當MBA管用時,小王升遷的概率,比如你現在的判斷是80%。小王可能本身就有能力且業績突出,就算沒有MBA也可能會升遷啊,所以P(B|A_) = 50%(發現了嗎,這個公式自動的幫助我們避免走極端)。

      套入貝葉斯公式,P(A|B) = 30% * 80% / (80% * 30% + 50% * 70%) = 41%。從30%提高到了41%。那麼當小王升遷這個新情況出現以後,你對MBA作用的概率判斷從30%提高到了41%。

      但是,過了段時間,你發現同樣是MBA的小李,熬了很多年也沒有升遷,最後辭職了。現在你對小李因為MBA有效而升遷的概率判斷降為20%了。套入公式,新的P(A|B) = 41% * 20% / (20%*41% + 50%*59%) = 22%。從剛才的41%跌了近一半。

      這樣幾次下來,你就能對這個這家公司對MBA的看法有個相對靠譜的判斷了。

      或許你會說,搞這麼複雜幹嘛,有了新情況,我原來的看法會改變,新情況和自己的預期一致就強化原來的看法,否則就弱化,這不就是常識嗎,還用得著什麼數學定理嗎?

      很好,的確一針見血。拉普拉斯說過,所謂的概率就是把人們的常識用數學表達出來。也有人說,人腦就是採用貝葉斯方法來工作的。

      但是我們人腦有偏差啊,有誤區啊,會犯渾啊,這個公式讓我們忽然獲得了一個上帝視角,來審視一下,我們自己究竟是怎麼做判斷,做決定的,電腦又是怎麼模仿並超越我們的,這豈不是很美妙的一件事情 。

      讓我們再來看一個複雜一點的例子,這是一個經典的案例 ,網上隨處都可以找到。

      愛滋病毒(HIV)檢測技術的準確度相當驚人。如果一個人真是HIV陽性,血液檢測的手段有99.9%的把握把他這個陽性給檢查出來而不漏網。如果一個人不攜帶HIV,那麼檢測手段的精度更高,達到99.99%——也就是說只有0.01%的可能性會冤枉他。已知一般人群中HIV攜帶者的比例是0.01%。現在假設我們隨便在街頭找一個人給他做檢查,發現檢測結果是HIV陽性,那麼請問,這個人真的攜帶HIV的可能性是多大呢?

      我們使用貝葉斯定理。A表示“這個人真的攜帶HIV”,B表示“檢測出HIV”,那麼根據現有條件,P(A) = 0.01%,P(B|A) = 99.9%,P(B|A-) = 0.01%,帶入公式,計算得到P(A|B) = 0.01% * 99.9% * (99.9%*0.01% + 0.01%*99.99%) = 50%!

      答案或許和你的直覺不一致,即使在這麼驚人的檢測準確度之下,哪怕這個人真的被檢測到HIV陽性,他真有HIV的可能性也只有50%。

      我們看到,如果是一種非常罕見的病毒,人群中只有萬分之一的人感染,在這種情況下即使你的檢測手段再高,也很有可能會冤枉人。甚至,如誤診率不是0.01%,而是0.1%的話,也就是檢測手段再差一檔,這個結果就會瞬間從50%降到9%。但是,我們也可以反過來想 ,這麼罕見的疾病,一旦被檢測出來了,也有50%的概率真的會得,這個躍遷是從萬分之一,一下子到了50%。而如果我們假設這個病毒的感染率不是萬分之一,而是千分之一,那麼在原來的檢測精度下,可能性就從50%升到了90%。

      這其實可以解釋為什麼我們說一葉知秋,為什麼說當你家發現了一只蟑螂,那麼你家裏一定已經有很多蟑螂了。罕見事件,可以對初始概率做出數量級的改變。同時,這也解釋了我們有時也不能反應過度,有人叛逃到國外了,我們難道需要徹底關閉海關嗎?真的需要在墨西哥修建長城嗎?

      貝葉斯定理,把我們的思考的方式給撕開了,揉碎了。

      貝葉斯定理給我們的啟示

      塔勒布說過,數學不僅僅是計算,而是一種思考方式。

      現實世界中,我們沒法時時刻刻拿出電腦來演算一下公式,但是我們仍然可以通過這個定理得到一些寶貴的啟示:

      1

      先行動起來。

      大膽假設,小心求證。不斷調整,快速迭代。這就是貝葉斯方法。

      當資訊不完備時,對概率的判斷沒有把握時,當然可以選擇以靜制動,但是不行動也是有代價的,你可能會錯過時機,你也沒有機會進步。這個時候,貝葉斯方法給我們提供了一個很好的思路,先做一個預判,動起來,利用新的資訊不斷修正原來的預判。

      2

      聽人勸、吃飽飯,但又不能聽風就是雨。

      當我們沒有把握時,我們很容易根據新資訊調整看法。更大的挑戰是,我們已經形成了一個看法,甚至有了成功經驗時,當新情況出現後,我們能不能也去調整自己看法。那個黑盒子,我們摸索了一段時間,估計出了裏面紅球、黑球的概率,但是我們有沒有想過,這個黑盒子裏的球的比例會變化呢?

      有了新資訊,我們要對原來的看法做多大程度的修正呢?

      這些,不可能有標準答案,但是明白了這個道理,有助於我們及時又謹慎的做出調整。

      3

      初始概率很重要。

      初始概率越準確,我們就能越容易、越快速的得到真實的概率。疑鄰盜斧,以貌取人,會讓我們離真相越來越遠。而如何獲得相對靠譜的初始概率,是個硬功夫,它需要你的經驗、人脈、平時的深度思考,有時甚至和底層的價值觀、思維方式都有關。

      丹尼爾.卡尼曼在他的《思考,快與慢》裏,就特地強調了初始概率對貝葉斯方法的重要性。

      4

      對出現的特殊情況要引起足夠的重視。

      前面我們已經看到了,萬分之一概率的事情,也有可能因為特殊事件,一下子變成了50%。所以,每當出現特殊的、罕見的情況時,我們要保持高度警惕,黑盒子裏的球的比例是不是變化了?但同時我們也看到,如果檢測精度不夠高,即便出現了罕見事件,真實概率也可能不到10%。所以,具體要怎麼採取行動,還需要進一步觀察。

      5

      資訊的收集,資訊的品質,以及對資訊的判斷,是提高決策水準的最重要環節。

      只要有新資訊,就可以修正,哪怕初始判斷錯了,新資訊足夠多,也能修正過來。但是沒有資訊,就沒有修正。所以,在做決定之前,盡可能多的收集資訊是必須的。但是錯誤的資訊、低質量的資訊,會讓你的修正偏離真相越來越遠,你能不能區分資訊來源的可靠性、能不能進行交叉驗證、邏輯推理,就顯得至關重要。

      要做到這些,甚至某一些,都並不容易,掌握裏面的平衡,就更加困難。

      所謂高手,就是把自己活成了貝葉斯定理。

    Hong Kong Dollar

    • United Arab Emirates Dirham
    • Australia Dollar
    • Canadian Dollar
    • Swiss Franc
    • Chinese Yuan
    • Danish Krone
    • Euro
    • British Pound
    • Hong Kong Dollar
    • Hungarian Forint
    • Japanese Yen
    • South Korean Won
    • Mexican Peso
    • Malaysian Ringgit
    • Norwegian Krone
    • New Zealand Dollar
    • Polish Zloty
    • Russian Ruble
    • Saudi Arabian Riyal
    • Swedish Krona
    • Singapore Dollar
    • Thai Baht
    • Turkish Lira
    • United States Dollar
    • South African Rand

    United States Dollar

    • United Arab Emirates Dirham
    • Australia Dollar
    • Canadian Dollar
    • Swiss Franc
    • Chinese Yuan
    • Danish Krone
    • Euro
    • British Pound
    • Hong Kong Dollar
    • Hungarian Forint
    • Japanese Yen
    • South Korean Won
    • Mexican Peso
    • Malaysian Ringgit
    • Norwegian Krone
    • New Zealand Dollar
    • Polish Zloty
    • Russian Ruble
    • Saudi Arabian Riyal
    • Swedish Krona
    • Singapore Dollar
    • Thai Baht
    • Turkish Lira
    • United States Dollar
    • South African Rand
    當前匯率  :
    --
    請輸入金額
    Hong Kong Dollar
    可兌換金額
    -- United States Dollar
    風險提示

    外匯天眼資料均來自各國外匯監管機構的官方資料,如英國FCA、澳大利亞ASIC等,所公佈的內容亦均以公正、客觀和實事求是為宗旨,不向外匯交易平臺收取公關費、廣告費、排名費、資料清洗費等灰色費用。外匯天眼會盡最大努力保持我方資料與各監管機構等權威資料方資料的一致及同步性,但不承諾與其即時保持一致和同步。

    鑑於外匯行業的錯綜複雜,不排除有個別外匯交易商通過欺騙手段獲得監管機構的合法註冊。如WikiFX所公佈數據與實際情況有不符之處,請通過WikiFX“投訴”和“糾錯”功能,向我們提出,我們將及時進行核實查證,並公佈相關結果。

    外匯、貴金屬和差價合約(OTC場外交易)是槓桿產品,存在較高的風險,可能會導致虧損您的投資本金,請理性投資。

    特別提示,外匯天眼所列資訊僅供參考,不構成投資建議。外匯平臺由客戶自行選擇,平臺操作帶來的風險,與外匯天眼無關,客戶需自行承擔相關後果和責任。