塔萊布的書《黑天鵝》(The Black Swan)在幾年前問世時是《紐約時報》的暢銷書。這本書現在是第二版。在JSM(年度統計會議)上與統計學家會面之後,Taleb在某種程度上減輕了對統計學的批評。但本書的重點是統計數據不是很有用,因為它依賴於正態分佈和非常罕見的事件:“黑天鵝”不具有正態分佈。
您認為這是有效的批評嗎? Taleb是否缺少統計建模的一些重要方面?至少可以在估計發生概率的意義上預測稀有事件嗎?
塔萊布的書《黑天鵝》(The Black Swan)在幾年前問世時是《紐約時報》的暢銷書。這本書現在是第二版。在JSM(年度統計會議)上與統計學家會面之後,Taleb在某種程度上減輕了對統計學的批評。但本書的重點是統計數據不是很有用,因為它依賴於正態分佈和非常罕見的事件:“黑天鵝”不具有正態分佈。
您認為這是有效的批評嗎? Taleb是否缺少統計建模的一些重要方面?至少可以在估計發生概率的意義上預測稀有事件嗎?
幾年前,我讀了《黑天鵝》。 Black Swan的想法很好,而且對荒謬謬誤的攻擊(把東西看成是骰子遊戲,具有已知的概率)是好的,但統計數據卻被錯誤地歪曲了,核心問題是錯誤的主張,即如果變量存在,所有統計數據都會崩潰不是正態分佈的。這方面讓我很惱火,無法給塔勒布寫以下信:
親愛的塔勒布博士
我最近讀了《黑天鵝》。像您一樣,我也是卡爾·波普爾(Karl Popper)的粉絲,我發現自己同意其中的很多內容。我認為您對荒謬謬論的解釋基本上是正確的,並且引起了人們對一個現實和普遍問題的關注。但是,我認為第三部分的大部分內容會嚴重挫敗您的整體論點,甚至可能使本書的其餘部分抹黑。真可惜,因為我認為關於黑天鵝和“未知未知數”的論點是基於其優點,而不依賴於第三部分中的某些錯誤。
我要指出的主要問題-並尋求您的回應,尤其是在我有一個被誤解的問題時-是您對應用統計領域的不實陳述。根據我的判斷,第14、15和16章在很大程度上取決於一個稻草人的論點,歪曲了統計學和計量經濟學。您所描述的計量經濟學領域並不是我學習應用統計學,計量經濟學和精算風險理論(在澳大利亞國立大學,但使用的是看起來很標準的課本)時所教的領域。您提出的問題(例如高斯分佈的局限性)即使在大學階段也能得到很好的理解和教導。
例如,您花了一些時間來說明收入分配如何不遵循正態分佈,並將其作為一般統計實踐的論據來提出。沒有勝任的統計學家會聲稱這樣做,而且解決此問題的方法也已確立。例如,僅使用最基本的“第一年計量經濟學”水平的技術,通過對變量進行對數轉換就可以使您的數值示例更具說服力。實際上,這種轉換會使您所說的大部分內容無效,因為原始變量的方差確實會隨著其均值的增加而增加。
我敢肯定,有一些不稱職的計量經濟學家會像您所說的那樣使用未轉換的響應變量進行OLS回歸等,但這只是使他們不稱職,並使用了公認的不合適的技術。即使在大學課程中,他們也肯定會失敗,因為他們花費大量時間尋找更合適的變量建模方法,例如收入,以反映實際觀察到的(非高斯)分佈。
廣義線性族模型是開發出的一組技術,用於部分解決您提出的問題。許多指數分佈族(例如Gamma,指數和泊松分佈)都是不對稱的,並且隨著分佈中心的增加,方差會增加,從而解決了使用高斯分佈時所指出的問題。如果仍然太局限,則可以完全刪除先前存在的“形狀”,並簡單地指定分佈的均值與其方差之間的關係(例如,允許方差與均方的平方成比例地增加),使用“擬似然”方法進行估算。
當然,您可以辯稱,這種形式的建模仍然過於簡單,並且存在一種智力陷阱,使我們無法想像未來將像過去一樣。您可能是正確的,而且我認為您的書的優勢在於使像我這樣的人考慮到這一點。但是您需要與第14-16章中使用的參數不同的參數。例如,您對高斯分佈的方差無論其均值是恆定的(這會導致可伸縮性出現問題)都是恆定的事實都是無效的。因此,您要強調一個事實,即現實生活中的分佈往往是不對稱的,而不是鍾形曲線。
基本上,您對統計的最基本方法(原始模型進行了簡單建模)進行了過分簡化變量(具有高斯分佈),並詳細說明了這種過分簡化的方法的缺點。然後,您可以使用它來縮小整個字段的範圍。這要么是邏輯上的嚴重失誤,要么是宣傳技巧。不幸的是,因為它偏離了您的整體論點,我認為其中的大部分(如我所說)是有效和有說服力的。
我很想听聽您的回應。我懷疑我是第一個提出這個問題的人。
您真誠的
PE
我還沒有讀過這本書,但是正如我所說,批評對我來說似乎是不合理的。如果極端事件很重要,則統計信息將在工具箱中提供適當的工具,例如極限值理論,而好的統計學家將知道如何使用它們(或至少找到如何使用它們,並將充分從事於以下目的:進行分析)。批評似乎是“統計數字不好,因為有不良的統計學家只知道正態分佈”。
我認為,說“書的重點是統計不是很有用”是不准確的。閱讀本書後,他似乎要說的是定量金融或任何假設正態分佈的證券交易之類的東西從根本上是有缺陷的(實際上,在書中,他稱那些聲稱使用這些模型進行預測的人,“ charlatans”)。根據塔勒布(Taleb)的觀點,雖然正態分佈在建模有形/物理事物(例如身高,體重,壽命等)的價值方面做得很好,但是像市場這樣的系統通常受人的情感驅動,因此容易正態分佈無法準確預測的大幅度波動。
我對統計數據不太了解,在閱讀此處的答案之前,我從未聽說過極值理論之類的東西。無論如何,黑天鵝和愚昧無知有相似的前提,即“正態分佈並不總是可以的”。我不記得他對整個統計領域的誹謗。
我確實讀過《黑天鵝》,我很喜歡,而且我是統計學家。我完全沒有發現它的“統計批評”是無法忍受的。逐點分析:
對於那些不喜歡此答案或不喜歡這本書的人,可以請在新的 https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk.pdf“沉默風險”中查看Taleb的技術論點, >是技術上的。
我還沒有讀過《黑天鵝》,但是如果他對統計學的批評確實如您所說的那樣簡單,那就太荒謬了。顯然, some 統計信息依賴於正態分佈,但很多情況下卻並非如此。
可以對罕見事件進行建模嗎?當然可以。真正的問題是如何對它們進行建模。根據我們對罕見事件及其先例的了解程度,該問題在不同領域將有不同的答案。
在今天的《紐約時報》雜誌上,內特·西爾弗(Nate Silver)發表了一篇有趣的文章,內容涉及過去十年左右天氣預報的改進情況。這包括對颶風等罕見事件進行更好的建模。
這本書值得一讀嗎?
我強烈推薦Dennis Lindley對這本書的評論。它包含許多破壞性的論點,反對書中對思想的拙劣闡述:
http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281 .x / abstract
另一個例子是“黑天鵝”不能保證高質量的內容。
我還沒有讀過這本書,但是他的觀點不可能像說正態分佈的尾巴更胖那樣簡單。這將是對其他答案的評論,但我在此網站上沒有獲得足夠的讚譽。
摘自Wikipedia:
它無法預測罕見事件的風險...”
這個問題也與社區對第四象限有何看法?
我不認為Taleb實際上會說依賴於高斯分佈的統計技術沒有用。他在書中的觀點是,它們對於許多(但不是全部)物理或生物過程和建模非常有用。他提出了一些好點和壞點(《黑天鵝》和《連環漫畫》是“萬物都是力量法則!”瘟疫的開始,今天仍然困擾著我們),但請務必記住,這本書是文學和哲學著作的集合專為外行人準備的論文。
這就是說,我認為塔萊布(Taleb)喜歡使人惡化。您可以在他與邁倫·斯科爾斯(Myron Scholes)的戰鬥中看到這一點。在這種情況下,它可能對本科生甚至研究生級的統計教育很有用,因為它超出了高斯分佈的假設。我想在他從事金融業的那幾年裡,他遇到了很多具有Black-Scholes和其他技術知識的量化分析師,但他們沒有考慮諸如分佈之類的基本假設。我懷疑塔勒布(Taleb)正在為教育機構而king,因為未能正確地進行教育。
你們中那些還沒有讀過這本書的人是不合時宜的。他在可伸縮性和不可伸縮性之間做了很大的區分。對於不可擴展的事務,傳統統計數據將足以滿足需要。他一點也不批評。黑天鵝起源於可擴展性,很難根據過去的經驗數據進行預測。這本書是關於這些事件如何產生巨大影響的,通常只在事後解釋。認識論是極好的。
如果不讀這本書,我會感到高斯的鐘聲失敗了,因為它們從未給出“概率密度”的明確定義。除此之外,他們從不給出洛倫茲曲線的完整點集,這些點同時包括分佈變量的總數和感知前者的總體總數。如果使用“密度”,則必須說明什麼變量。例如,如果您說的是千克/升,則是指與體積相關的重量密度。高斯理論在教科書中沒有給出這一步驟。難怪年輕人對統計數字的理解不正確。