題:
塔萊布和黑天鵝
Michael R. Chernick
2012-09-09 17:54:20 UTC
view on stackexchange narkive permalink

塔萊布的書《黑天鵝》(The Black Swan)在幾年前問世時是《紐約時報》的暢銷書。這本書現在是第二版。在JSM(年度統計會議)上與統計學家會面之後,Taleb在某種程度上減輕了對統計學的批評。但本書的重點是統計數據不是很有用,因為它依賴於正態分佈和非常罕見的事件:“黑天鵝”不具有正態分佈。

您認為這是有效的批評嗎? Taleb是否缺少統計建模的一些重要方面?至少可以在估計發生概率的意義上預測稀有事件嗎?

[社區對第四象限有何看法?](http://stats.stackexchange.com/questions/2906/what-is-the-communitys-take-on-the-thousth-quadrant)的可能重複
另外,IMO,我不認為“黑天鵝”標籤會非常有用。對於此特定作者而言,應避免使用IMO的內用術語。罕見的事件對我來說似乎足夠了,但是您肯定會比我更了解行話。
@AndyW雖然“黑天鵝”可能是Taleb創造的一個術語,但它已成為罕見事件的常用術語,因此可能不僅限於Taleb的書。
創建“ black-swans”標籤或“ rare-events”標籤不一定會帶來問題,但是,我強烈建議人們在創建新標籤時至少創建一個標籤維基摘錄。未來的用戶將需要一些有關標籤含義和正確使用的指導。同時創建和“立即”使b-s成為r-e的同義詞可能也很有用,以避免將來意外遇到此問題。
@MichaelChernick,沒問題,您可以按照[此鏈接](http://stats.stackexchange.com/edit-tag-wiki/1295)編輯Wiki摘錄。通常,路徑為:單擊標記,然後單擊*“幫助我們創建它”。
“黑天鵝”這個概念不是NNT發明的,它是他推廣的一種著名的作物哲學!
-1
@Antoni Parellada:會讀那本書的,謝謝!Talebs的貢獻是使這些東西流行起來,使其成為暢銷書,從而使想法得以傳播。
-1
十 答案:
Peter Ellis
2012-09-11 00:36:33 UTC
view on stackexchange narkive permalink

幾年前,我讀了《黑天鵝》。 Black Swan的想法很好,而且對荒謬謬誤的攻擊(把東西看成是骰子遊戲,具有已知的概率)是好的,但統計數據卻被錯誤地歪曲了,核心問題是錯誤的主張,即如果變量存在,所有統計數據都會崩潰不是正態分佈的。這方面讓我很惱火,無法給塔勒布寫以下信:

親愛的塔勒布博士

我最近讀了《黑天鵝》。像您一樣,我也是卡爾·波普爾(Karl Popper)的粉絲,我發現自己同意其中的很多內容。我認為您對荒謬謬論的解釋基本上是正確的,並且引起了人們對一個現實和普遍問題的關注。但是,我認為第三部分的大部分內容會嚴重挫敗您的整體論點,甚至可能使本書的其餘部分抹黑。真可惜,因為我認為關於黑天鵝和“未知未知數”的論點是基於其優點,而不依賴於第三部分中的某些錯誤。

我要指出的主要問題-並尋求您的回應,尤其是在我有一個被誤解的問題時-是您對應用統計領域的不實陳述。根據我的判斷,第14、15和16章在很大程度上取決於一個稻草人的論點,歪曲了統計學和計量經濟學。您所描述的計量經濟學領域並不是我學習應用統計學,計量經濟學和精算風險理論(在澳大利亞國立大學,但使用的是看起來很標準的課本)時所教的領域。您提出的問題(例如高斯分佈的局限性)即使在大學階段也能得到很好的理解和教導。

例如,您花了一些時間來說明收入分配如何不遵循正態分佈,並將其作為一般統計實踐的論據來提出。沒有勝任的統計學家會聲稱這樣做,而且解決此問題的方法也已確立。例如,僅使用最基本的“第一年計量經濟學”水平的技術,通過對變量進行對數轉換就可以使您的數值示例更具說服力。實際上,這種轉換會使您所說的大部分內容無效,因為原始變量的方差確實會隨著其均值的增加而增加。

我敢肯定,有一些不稱職的計量經濟學家會像您所說的那樣使用未轉換的響應變量進行OLS回歸等,但這只是使他們不稱職,並使用了公認的不合適的技術。即使在大學課程中,他們也肯定會失敗,因為他們花費大量時間尋找更合適的變量建模方法,例如收入,以反映實際觀察到的(非高斯)分佈。

廣義線性族模型是開發出的一組技術,用於部分解決您提出的問題。許多指數分佈族(例如Gamma,指數和泊松分佈)都是不對稱的,並且隨著分佈中心的增加,方差會增加,從而解決了使用高斯分佈時所指出的問題。如果仍然太局限,則可以完全刪除先前存在的“形狀”,並簡單地指定分佈的均值與其方差之間的關係(例如,允許方差與均方的平方成比例地增加),使用“擬似然”方法進行估算。

當然,您可以辯稱,這種形式的建模仍然過於簡單,並且存在一種智力陷阱,使我們無法想像未來將像過去一樣。您可能是正確的,而且我認為您的書的優勢在於使像我這樣的人考慮到這一點。但是您需要與第14-16章中使用的參數不同的參數。例如,您對高斯分佈的方差無論其均值是恆定的(這會導致可伸縮性出現問題)都是恆定的事實都是無效的。因此,您要強調一個事實,即現實生活中的分佈往往是不對稱的,而​​不是鍾形曲線。

基本上,您對統計的最基本方法(原始模型進行了簡單建模)進行了過分簡化變量(具有高斯分佈),並詳細說明了這種過分簡化的方法的缺點。然後,您可以使用它來縮小整個字段的範圍。這要么是邏輯上的嚴重失誤,要么是宣傳技巧。不幸的是,因為它偏離了您的整體論點,我認為其中的大部分(如我所說)是有效和有說服力的。

我很想听聽您的回應。我懷疑我是第一個提出這個問題的人。

您真誠的

PE

您收到回應了嗎?
是。許多統計學家以前都批評過正態分佈!僅舉一個例子:著名的丹麥統計學家格奧爾格·拉施(Georg Rasch,以心理學中的拉希模型而聞名!)曾說,當他喝醉了很多時,“所有提及正態分佈的書籍都應該被燒掉”!
++彼得。一個很好的信!
@cardinal-我收到了“由於全球金融危機以來我收到的電子郵件太多以至無法回應”的影響的自動回复。
看來,回應這本書的電子郵件數量本身就是BlackSwan。:)
Dikran Marsupial
2012-09-09 18:06:39 UTC
view on stackexchange narkive permalink

我還沒有讀過這本書,但是正如我所說,批評對我來說似乎是不合理的。如果極端事件很重要,則統計信息將在工具箱中提供適當的工具,例如極限值理論,而好的統計學家將知道如何使用它們(或至少找到如何使用它們,並將充分從事於以下目的:進行分析)。批評似乎是“統計數字不好,因為有不良的統計學家只知道正態分佈”。

也許在批評之前先讀這本書?
@kjetilbhalvorsen我不是在批評這本書,我是在批評問題中提到的批評(這可能代表本書的內容,也可能不夠)。我通過回答的措辭非常清楚地註意到了(請注意,我只使用了“書”一詞,以提醒我自己沒有讀過它,也根本沒有提到塔萊布)。也許在批評之前仔細閱讀了答案?; o)
Jay
2012-09-10 00:54:40 UTC
view on stackexchange narkive permalink

我認為,說“書的重點是統計不是很有用”是不准確的。閱讀本書後,他似乎要說的是定量金融或任何假設正態分佈的證券交易之類的東西從根本上是有缺陷的(實際上,在書中,他稱那些聲稱使用這些模型進行預測的人,“ charlatans”)。根據塔勒布(Taleb)的觀點,雖然正態分佈在建模有形/物理事物(例如身高,體重,壽命等)的價值方面做得很好,但是像市場這樣的系統通常受人的情感驅動,因此容易正態分佈無法準確預測的大幅度波動。

我對統計數據不太了解,在閱讀此處的答案之前,我從未聽說過極值理論之類的東西。無論如何,黑天鵝愚昧無知有相似的前提,即“正態分佈並不總是可以的”。我不記得他對整個統計領域的誹謗。

(+1)第一句。但是,塔勒布比一個嚴肅的知識分子更像是一個(自我吸收的)論戰主義者。我只有BS的第一版;他指出,他對統計的評論在許多地方被誇大了而且沒有得到任何消息,但是該文本的嘗試論點比第一句話中引用的要多。
+1我認為關鍵是在談論金融時。我相信《紐約時報》的鏈接引用第一章的內容:http://www.nytimes.com/2007/04/22/books/chapters/0422-1st-tale.html
我認為很多時候正態分佈用法(用於CDO傳播建模的高斯copula)都是為了降低風險。銀行家很聰明,知道這是一個不准確的模型,但是它使他們在賬簿上增加了風險。
例如,期權定價從對數收益的正常假設開始,但是知道有一天,很多人用更複雜的跳躍擴散/隨機波動率模型來解釋峰度。
+1歡迎來到我們的網站!非常感謝您分享您的想法。
閱讀了本書並寫了自己的評論(我可能會對亞馬遜的評論家以及其他數千人進行評論),我認為Taleb將金融和股票市場作為他的主要例子,但他確實對此有更一般的看法。所謂的“黑天鵝”(Black Swans),他對統計數據和統計專業的看法非常不了解(至少在第一版中)。誤用正態分佈可以有效地批評某些人如何模擬稀有事件。但是,我們許多人都以正確的方式進行操作,採用正確的方法所獲得的結果具有一定的價值。
kjetil b halvorsen
2012-09-11 00:31:30 UTC
view on stackexchange narkive permalink

我確實讀過《黑天鵝》,我很喜歡,而且我是統計學家。我完全沒有發現它的“統計批評”是無法忍受的。逐點分析:

  1. 塔勒布沒有發明黑天鵝的概念。相當長一段時間以來,它一直是哲學思想中的一個受人尊敬的例子!
  2. Taleb並不是批評“統計”,而是針對某些(不良)應用。
  3. 這本書是暢銷書。它不是針對統計學家的,而是針對大眾的。在教導公眾關於統計學家的事情非常了解方面,這做得很好,但是其他許多讀者(大多數!)卻沒有。因此,我們可以從該書中學到很多有關如何“出售”統計數據的知識。
  4. (對我而言)最重要的是,塔勒布(Taleb)引用了許多有關古希臘懷疑論哲學的文獻。這裡沒有人提到這一點,但是我認為包容才是本書的真正賣點!
  5. 這本書是文學作品,而不是技術作品。如果您想批評Taleb的技術工作,請訪問他的主頁並下載一些技術論文。
  6. ol>

    對於那些不喜歡此答案或不喜歡這本書的人,可以請在新的 https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk.pdf“沉默風險”中查看Taleb的技術論點, >是技術上的。

成為第一(哎呀—第二)受訪者的大+1實際上有資格談論這本書! (並且還說了一些有趣的話。)
根據高斯分佈,他對計量經濟學和統計學的表示又如何呢?
彼得·埃利斯(Peter Ellis):塔勒布(Taleb)擁有金融數學博士學位,他必須知道統計學家對正常人以外的其他知情者也了解! 《黑天鵝》是一部文學作品,而不是技術作品!這本書的許多優點應該原諒一些較弱的方面。
@kjetilbhalvorsen您說您讀過這本書。如果您仔細閱讀它,就不可能錯過統計學專業的附件。擁有數學學位對個人的統計知識毫無意義。許多數學家沒有參加單一的統計學課程就得到了認可。其他人可能只有一門非常基礎的課程。我知道數學家教過統計學和/或概率,但實際上並沒有資格這樣做。
邁克爾·切爾尼克(Michael Chernik):可能會這樣,但我仍然堅持批評作品的長處,至少不僅是它的短處!並且,文學作品必須原樣閱讀。 Taleb應該為將“黑天鵝”變成許多人所理解的概念而感到高興。這是一個重要的概念。所有嘲笑拉姆斯菲爾德(Ramsfeldt)談論“未知未知數”的記者都表明了這一點。拉姆斯費爾特只是在使用他從軍官那裡學到的概念!至少他們了解黑天鵝。
如果塔勒布寫的是一部小說,那麼“文學作品”只是歪曲現實的藉口。不進行技術處理是可以原諒的,錯誤地陳述一些批發則不太可能。
“如果塔勒布寫的是小說,那麼“文學作品”只是歪曲現實的藉口。“這不是小說!這是一部文學作品,是一篇長篇論文,具有許多不同流派的特徵,包括一些嵌入式小說,是的!我不認為他實際上是在虛假陳述。他在批評很多專業,並說經濟學家的待遇比統計學家差得多。重複一遍,他並不是真正地歪曲了現實,但他也沒有給出完整的圖景。 ¿你們真的認為只有一本書可以做到嗎?
Peter Flom
2012-09-09 18:10:47 UTC
view on stackexchange narkive permalink

我還沒有讀過《黑天鵝》,但是如果他對統計學的批評確實如您所說的那樣簡單,那就太荒謬了。顯然, some 統計信息依賴於正態分佈,但很多情況下卻並非如此。

可以對罕見事件進行建模嗎?當然可以。真正的問題是如何對它們進行建模。根據我們對罕見事件及其先例的了解程度,該問題在不同領域將有不同的答案。

在今天的《紐約時報》雜誌上,內特·西爾弗(Nate Silver)發表了一篇有趣的文章,內容涉及過去十年左右天氣預報的改進情況。這包括對颶風等罕見事件進行更好的建模。

這本書值得一讀嗎?

我已經讀過這本書,並提出了類似的反對意見,例如您和Dikran的。塔萊布似乎很幼稚。幾年前,他在JSM舉行了一次會議。我認為是在華盛頓。第二版在那之後問世,並且更加合理。塔勒布(Taleb)對於某些“黑天鵝”有一些有趣的話要講,他對經濟學也很了解。我認為值得一讀,第二版更好。
您是統計網站的管理員,因此第3部分可能不會引起您的興趣。它甚至可能會激怒您。第一部分和第二部分可能會給您一些統計之外的見解。您可以嘗試閱讀第一章左右的內容,然後從此處判斷本書的其餘部分。至於天氣,塔勒布(Taleb)似乎暗示天氣預報員是傾向於成為專家的專家:傾向於成為專家的專家:牲畜法官,天文學家,測試飛行員,土壤法官,國際象棋大師,物理學家,數學家(當他們處理數學問題時),而不是經驗性的),會計師,穀物檢查員,
穀物檢驗員,照片翻譯,保險分析師(處理鐘形曲線式統計數據)。 往往是……而不是專家的專家:股票經紀人,臨床心理學家,精神病學家,大學招生人員,法院法官,議員,人員選拔人員,情報分析人員(儘管花費了很多錢,CIA的記錄還是可憐的),除非有人考慮在內一些大劑量的隱形預防。我將對自己的文獻進行檢查後得出以下結果:經濟學家,金融預測師,金融教授,政治學家,“風險專家”
”,“國際清算銀行”工作人員,國際金融工程師協會的莊嚴會員和個人財務顧問。 簡而言之,移動的事物(因此需要知識)通常沒有專家,而靜止的事物似乎有一些專家。換句話說,處理未來並基於不可重複的過去進行研究的專業存在一個專家問題(天氣和涉及短期物理過程而非社會經濟過程的企業除外)。
是的,這本書值得一讀!
White Swan
2013-12-17 01:48:46 UTC
view on stackexchange narkive permalink

我強烈推薦Dennis Lindley對這本書的評論。它包含許多破壞性的論點,反對書中對思想的拙劣闡述:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281 .x / abstract

另一個例子是“黑天鵝”不能保證高質量的內容。

暢銷書僅表示該書非常受歡迎,因此售出的書數很高。它沒有說明內容的質量。
我喜歡您與《重要性》雜誌上林德利書評的鏈接。
draft
2012-09-09 18:32:08 UTC
view on stackexchange narkive permalink

我還沒有讀過這本書,但是他的觀點不可能像說正態分佈的尾巴更胖那樣簡單。這將是對其他答案的評論,但我在此網站上沒有獲得足夠的讚譽。

摘自Wikipedia:

它無法預測罕見事件的風險...”

這個問題也與社區對第四象限有何看法?

很好的發現,這個問題/答案實際上可能是重複的。
我不知道有關“第四象限”的帖子。約翰·庫克(John Cook)指向塔勒布(Taleb)講話的JSM,並提供了指向他在此講話中博客評論的鏈接。該帖子簡直是我的副本,但那裡的討論很短。因此,我認為值得繼續進行這一工作。
我認為統計數據無法預測罕見事件的風險是不正確的。之所以很難,是因為數據中通常沒有太多信息可用於估計集中趨勢,因此對數據有用。因此,統計數據和數據無關緊要。
@dikran:我同意你的看法,我認為他的書是巨魔書。但是,在與他的辯論中,我仍然會輸得很慘,就像在有經驗的智能設計辯論者中,我輸一樣。
@draft是的,有充分的理由為什麼不再通過公開辯論來解決科學觀念!
給定足夠的數據,統計方法可用於預測給定時間間隔內罕見事件的發生概率。這些預測可能很困難,而且並不總是準確的,但是可以做到。
這本書不僅涉及統計問題,還涉及到更多有關他的關於“未知未知數”(所謂的黑天鵝)和“荒謬謬誤”(將世界當作具有權能概率的骰子遊戲來對待)的論點。不依賴於他對統計的誤導,因為它取決於正態分佈。您可以刪除所有統計信息章節並極大地改進本書。
Fraijo
2012-09-11 02:06:35 UTC
view on stackexchange narkive permalink

我不認為Taleb實際上會說依賴於高斯分佈的統計技術沒有用。他在書中的觀點是,它們對於許多(但不是全部)物理或生物過程和建模非常有用。他提出了一些好點和壞點(《黑天鵝》和《連環漫畫》是“萬物都是力量法則!”瘟疫的開始,今天仍然困擾著我們),但請務必記住,這本書是文學和哲學著作的集合專為外行人準備的論文。

這就是說,我認為塔萊布(Taleb)喜歡使人惡化。您可以在他與邁倫·斯科爾斯(Myron Scholes)的戰鬥中看到這一點。在這種情況下,它可能對本科生甚至研究生級的統計教育很有用,因為它超出了高斯分佈的假設。我想在他從事金融業的那幾年裡,他遇到了很多具有Black-Scholes和其他技術知識的量化分析師,但他們沒有考慮諸如分佈之類的基本假設。我懷疑塔勒布(Taleb)正在為教育機構而king,因為未能正確地進行教育。

+1您的有趣評論。但是我不同意他對正態分佈的看法。他似乎認為統計學家會在不適用的地方使用它,並且以這種方式描述統計學家是非常錯誤的。他現在可能知道得更多。是的,他顯然具有挑釁和激怒人的寫作風格。
我沒有這本書,這是出於記憶。當然,他的某些憤怒來自與人的不良經歷。他告訴我,“有人”(當我拿到書時會編輯,並能找到名字)對他大吼:“我是美國國家科學院的一員!”那不是一個確切的論點,使用它本身需要嘲笑“某人”。
我可能對閱讀的內容不加思索地進行正面評價,但我顯然是NTT成員,舉了幾個說明高斯分佈有意義的示例,例如他的咖啡杯。我把書給了我,所以我不能回去重新評估它。塔勒布的通俗著作比他的專業著作更具爭議性,至少我對後者的閱讀如此。
我認為我們不是在爭論Taleb認為正態分佈是沒有道理的。只是對於他認為很重要的示例,他認為使用它是不適當的。他對此表示正確,但認為大多數統計學家確實在那種情況下使用了它是錯誤的。
有趣的是,不僅有多少評論者沒有讀過這本書(我曾經略讀過這本書,而且很多),還有很多人讀過它,只是覺得不適合使它方便。 “我給了它” “我把它留在閣樓上”;等等
Tina-Desiree Berg
2015-08-29 23:30:43 UTC
view on stackexchange narkive permalink

你們中那些還沒有讀過這本書的人是不合時宜的。他在可伸縮性和不可伸縮性之間做了很大的區分。對於不可擴展的事務,傳統統計數據將足以滿足需要。他一點也不批評。黑天鵝起源於可擴展性,很難根據過去的經驗數據進行預測。這本書是關於這些事件如何產生巨大影響的,通常只在事後解釋。認識論是極好的。

Emilio José Chave
2013-11-19 14:56:59 UTC
view on stackexchange narkive permalink

如果不讀這本書,我會感到高斯的鐘聲失敗了,因為它們從未給出“概率密度”的明確定義。除此之外,他們從不給出洛倫茲曲線的完整點集,這些點同時包括分佈變量的總數和感知前者的總體總數。如果使用“密度”,則必須說明什麼變量。例如,如果您說的是千克/升,則是指與體積相關的重量密度。高斯理論在教科書中沒有給出這一步驟。難怪年輕人對統計數字的理解不正確。



該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...