我在一個基本點上不同意Srikant的回答。 Srikant說：

“推理問題：您的推理問題是：給定觀測數據x，θ的哪個值是合理的？”

實際上，這是貝葉斯推理問題。在貝葉斯統計中，我們試圖計算P（θ| x），即給定觀測數據（樣本）的參數值的概率。 CREDIBLE INTERVAL是θ的一個間隔，考慮到問題背後的幾個假設，θ的間隔有95％的機會（或其他可能性）包含θ的真實值。 >

給定θ的假設值，觀測數據x是否合理？

在頻率統計中，我們試圖計算P（x |θ），即在給定假設參數值的情況下觀察數據（樣本）的概率。置信區間（可能用詞不當）解釋為：如果多次重複生成隨機樣本x的實驗，則由這些隨機樣本構成的此類區間的95％（或其他）將包含參數的真實值。

腦袋沒？這就是常客統計學的問題，而貝葉斯統計學的主要目的就是要解決這個問題。 >

P（θ| x）= P（θ）P（x |θ）

其中P（θ）是我們的先驗概率； P（x |θ）是以該先驗為條件的數據的概率，P（θ| x）是後驗的概率。先驗的P（θ）本質上是主觀的，但這是關於宇宙的知識的價格-具有非常深刻的意義。

之前提供的答案非常有用且詳盡。這是我的0.25美元。

置信區間（CI）是一個基於概率的經典定義（也稱為“頻率定義”）的概念，該概率類似於比例，並且基於Kolmogrov的公理式系統（和別的）。

基於Wald和de Finetti的工作（並在其他人的基礎上進行了很多擴展），可以認為可信區間（最高後密度，HPD）起源於決策理論。

由於從事這一工作的人們在給出例子以及貝葉斯和常識性案例中的假設差異方面做得很出色，所以我只強調一些重要的觀點。

1. CI的依據是，必鬚根據可能發生的實驗重複進行推斷，而不僅僅是基於觀察到的數據，因為HPD完全基於觀察到的數據（並且遵守了我們的先前假設）。

2. 通常，CI與HPD是一致的（由於其在決策理論中的根源）是不一致的（將在後面進行解釋）。連貫性（正如我要向我的祖母解釋的那樣）意味著：給定參數值的下注問題，如果古典統計學家（常客）對CI押注，貝葉斯對HPD押注，則常客將輸掉（不包括小問題）當HPD = CI時）。簡而言之，如果您想將實驗結果總結為基於數據的概率，則該概率就是後驗概率（基於先驗概率）。有一個定理（參見Heath和Sudderth，《統計年鑑》，1978年）（大致）指出：根據數據將概率分配給 $ \ theta $ span>不會使一個肯定的失敗者，當且僅當它是通過貝葉斯方式獲得的。

3. 由於CI並不以觀察到的數據為條件（也稱為“條件性原理” CP），因此可能存在矛盾的例子。費舍爾（Fisher）是CP的大力支持者，並且在未遵循CP的情況下（例如CI）也發現了許多矛盾的例子。這就是為什麼他使用p值進行推理而不是CI的原因。在他看來，p值是基於觀察到的數據（關於p值可以說很多，但這並不是本文的重點）。兩個非常著名的悖論示例是：（4和5）

4. Cox的示例（《數學統計年鑑》，1958年）： $ X_i \ sim \ mathcal {N}（\ mu，\ sigma ^ 2）$ span>（iid）for $ i \在\ {1，\ dots，n \} $ span>中，我們要估算 $ \ mu $ span>。 $ n $ span>不是固定的，而是通過拋硬幣來選擇的。如果拋硬幣導致H，則選擇2，否則選擇1000。 “常識”估計-樣本均值是無偏估計，方差為 $ 0.5 \ sigma ^ 2 + 0.0005 \ sigma ^ 2 $ span>。當 $ n = 1000 $ span>時，我們用什麼作為樣本均值？將樣本均值估計量的方差用作 $ 0.001 \ sigma ^ 2 $ span>（條件方差）而不是估計量的實際方差不是更好（或更明智） ，這是巨大的！ （ $ 0.5 \ sigma ^ 2 + 0.0005 \ sigma ^ 2 $ span>）。這是CP的簡單說明，當我們使用方差作為 $ 0.001 \ sigma ^ 2 $ span>時，當 $ n = 1000 $ 。 $ n $ span>單獨對於 $ \ mu $ span>和 $ \ sigma $ span>（即 $ n $ span>是它們的輔助），但是鑑於其價值，您對“質量”了解很多數據的”。這直接與CI有關，因為它們涉及方差，不應以 $ n $ span>為條件，即我們最終將使用較大的方差，因此過於保守。

5. Welch的示例：該示例適用於任何 $ n $ span>，但我們將採用 $ n = 2 $ span>為簡單起見。 $ X_1，X_2 \ sim \ mathcal {U}（\ theta-1/2，\ theta +1/2）$ span>（iid）， $ \ theta $ span>屬於Real行。這意味著 $ X_1-\ theta \ sim \ mathcal {U}（-1/2，1/2）$ span>（iid）。 $ \ frac {1} {2}（X_1 + X_2）{\ bar x}-\ theta $ span>（請注意，這不是統計數據）具有獨立於分佈的分佈的 $ \ theta $ span>。我們可以選擇 $ c > 0 $ span>s.t。 $ \ text {Prob} _ \ theta（-c < = {\ bar x}-\ theta < = c）= 1- \ alpha（\ approx 99 \％）$ ，表示 $（{\ bar x}-c，{\ bar x} + c）$ span>是 $ \ theta $ span>。此CI的解釋是：如果我們重複採樣，我們將得到不同的 $ {\ bar x} $ span>，並且它的99％（至少）倍將包含真實 $ \ theta $ span>，但是，GIVEN數據中的大象（房間裡的大象），我們不知道CI包含真實 $ \ theta $ span>。現在，考慮以下數據： $ X_1 = 0 $ span>和 $ X_2 = 1 $ span>，作為 $ | X_1-X_2 | = 1 $ span>，我們肯定知道區間 $（X_1，X_2）$ span>包含 $ \ theta $ span>（一種可能的批評， $ \ text {Prob}（| X_1-X_2 | = 1）= 0 $ span>，但我們可以用數學方法處理它，我不再討論。）這個例子也很好地說明了一致性的概念。如果您是一位經典的統計學家，那麼您一定會在不考慮 $ | X_1-X_2 | $ span>的價值的情況下下注99％CI（假設您對職業）。但是，僅當 $ | X_1-X_2 | $ span>的值接近1時，貝葉斯才會下注。 -container“> $ | X_1-X_2 | $ span>，間隔是連貫的，玩家將不再是確定的輸家（類似於Heath和Sudderth的定理）。

6. Fisher對此類問題提出了建議-使用CP。對於Welch的示例，Fisher建議將條件設置為 $ X_2-X_1 $ span>。如我們所見， $ X_2-X_1 $ span>是 $ \ theta $ span>的輔助，但它提供了有關θ。如果 $ X_2-X_1 $ span>是SMALL，則有關 $ \ theta $ span>的信息不多數據。如果 $ X_2-X_1 $ span>為大，則在 $ \ theta $ span>中有很多信息數據。 Fisher將對輔助統計量進行條件調整的策略擴展到稱為 Fiducial Inference 的一般理論（也稱為他的最大失敗，參見Zabell，Stat。Sci。1992），但由於以下原因而沒有流行缺乏普遍性和靈活性。費舍爾試圖找到一種不同於古典統計（內曼學派）和貝葉斯學派的方法（因此，薩維奇著名的格言：“費舍爾想製作貝葉斯煎蛋（即使用CP）而不破壞貝葉斯蛋”） 。民間傳說（沒有證據）說：費舍爾（Fisher）在辯論中抨擊內曼（I型和II型錯誤和CI），稱他為“質量控制人員”而不是“科學家”，因為Neyman的方法不以觀察到的數據為條件，而是查看所有可能的重複。

7. 除CP之外，統計學家還希望使用自滿原則（SP）。但是SP和CP一起暗示了似然原理（LP）（參見Birnbaum，JASA，1962年），即給定CP和SP時，必須忽略樣本空間，而僅考慮似然函數。因此，我們只需要在整個樣本空間中查看給定的數據和 NOT （查看整個樣本空間的方式類似於重複採樣）。這就導致了諸如“觀察到的費舍爾信息”（參見Efron和Hinkley，AS，1978年）之類的概念，該概念從頻繁主義者的角度衡量有關數據的信息。數據中的信息量是一個貝葉斯概念（因此與HPD有關），而不是CI。

8. Kiefer在1970年代後期對CI做了一些基礎性工作，但是他的擴展名尚未流行。很好的參考資料來源是Berger（Stat Sci，2003年，“費舍爾，內曼和杰弗里斯可能同意檢驗假設”）。

ol>

---

摘要：

（如Srikant等人所指出）
CI不能解釋為概率，並且它們不能告訴已知參數GIVEN所觀察到的數據。 CI是關於重複實驗的陳述。



HPD是基於未知參數的後驗分佈的概率區間，並且基於給定數據具有基於概率的解釋。



頻率屬性（重複採樣）屬性是理想的屬性，HPD（具有適當的優先級）和CI都具有它們。 HPD還以給定數據為條件，以回答有關未知參數的問題



（客觀非主觀）貝葉斯主義者同意經典統計學家的觀點，即該參數只有一個TRUE值。但是，它們在推斷此真實參數的方式上都不同。



貝葉斯HPD為我們提供了一種很好的數據條件處理方法，但是如果他們不同意CI的常客屬性，那麼它們就不是很有用了（類比：使用HPD（具有某些先驗經驗）且沒有良好的常客屬性的人） ，注定要像只關心錘子卻忘記螺絲起子的木匠一樣注定要失敗。


最後，我在這個線程中看到了一些人（Joris博士的評論：“。涉及的假設暗示了一個擴散先驗，即完全缺乏對真實參數的知識。”）談論缺乏對真實參數的知識等同於使用擴散先驗。我不知道我是否可以同意這一說法（基思博士同意我的觀點）。例如，在基本線性模型的情況下，可以通過使用統一先驗（某些人稱為擴散）來獲得某些分佈，但這並不意味著可以將統一分佈視為低信息先驗。通常，NON-INFORMATIVE（Objective）先驗並不意味著它關於參數的信息很少。



注意：這些要點很多都是基於在一位著名的貝葉斯學者的演講中。我仍然是學生，可能以某種方式誤解了他。請提前接受我的道歉。

參加一些哲學總是很有趣。我非常喜歡基思的回應，但是我想說他正在擔任“健忘的貝葉斯先生”的職務。只有在每次試驗都應用相同的概率分佈並且拒絕事先更新他的（她）的情況下，B型和C型的不良覆蓋才會出現。

您可以很清楚地看到這一點。 ，對於A型和D型罐子，可以說是“確定的預測”（分別針對0-1和2-3個籌碼），而B型和C型罐子基本上給出了均勻的籌碼分佈。因此，在重複使用固定的“真罐子”（或者如果我們取樣另一個餅乾）進行實驗時，均勻分佈的薯條將為B型或C型罐子提供證據。

”的觀點認為，類型B和C需要大量樣本才能區分它們。兩種分佈之間的KL散度為$ KL（B || C）\大約0.006 \大約KL（C || B）$。這是一個等效於兩個正態分佈的方差，均具有方差$ 1 $和均值$ \ sqrt {2 \ times 0.006} = 0.11 $。因此，我們不可能期望能夠基於一個樣本進行區分（對於正常情況，我們需要大約320個樣本大小才能在5％的顯著性水平上檢測到這種差異）。這樣我們就可以合理地將B型和C型折疊在一起，直到有足夠大的樣本為止。

現在，這些可信區間會發生什麼？實際上，我們現在已經100％覆蓋了“ B或C”！頻繁間隔時間如何？由於所有間隔都包含B和C或都不包含，因此覆蓋率沒有變化，因此它仍然受到Keith的回應的批評-觀察到3和0籌碼分別為59％和0％。

但是，這裡要務實。如果您針對某個功能進行了優化，則不能期望它對另一功能有效。但是，頻繁者間隔和貝葉斯間隔確實確實達到了期望的可信度/可信度水平。我們有$（0 + 99 + 99 + 59 + 99）/5=71.2$-因此，常客具有適當的平均信譽。我們還有$（98 + 60 + 66 + 97）/4=80.3$-貝葉斯具有適當的平均覆蓋率。

我要強調的另一點是，貝葉斯並不是說“參數是隨機的”。對於貝葉斯（好吧，至少對我而言），概率分佈是對該參數已知信息的描述。在貝葉斯理論中，“隨機性”的概念並沒有真正存在，只有“知道”和“不知道”的概念。 “已知”進入條件，而“未知”則是我們計算概率（如果感興趣的話）的概率，而在擾民時將其邊緣化。因此，一個可靠的間隔描述了有關固定參數的已知信息，並取其平均值。因此，如果我們代替裝滿餅乾罐並知道它是A型的人擔任職務，則無論樣本數量如何，無論取樣多少，他們的信譽間隔都將是[A]。而且它們將100％準確！

置信區間是基於不同可能樣本中存在的“隨機性”或變化。因此，它們考慮的唯一變化是樣本中的變化。因此，對於裝滿了餅乾罐的人來說，置信區間是不變的，而新的餅乾罐是A型。因此，如果從A型罐子中抽出1片餅乾，那麼常客會以70％的信心斷言該類型是即使他們知道罐子是A型，也不是A！ （如果他們保持自己的意識形態而忽略了常識）。要看到是這種情況，請注意在這種情況下沒有什麼改變採樣分佈-我們只是簡單地從另一個人的角度了解有關參數的基於“非數據”的信息。

置信度僅當數據更改或模型/採樣分佈更改時，間隔才會更改。如果考慮到其他相關信息，可信度間隔可能會發生變化。

請注意，這種瘋狂的行為肯定不是可信度間隔擁護者實際上會採取的行動；但確實顯示了在特定情況下該方法所依據的理念上的弱點。當您僅對數據集中包含的信息不了解太多參數時，置信區間將發揮最大作用。而且，除非有先驗信息無法置信區間，或者難以找到足夠的輔助統計數據，否則可信度區間在置信區間上將不會有太大改善。

據我所知：可信區間是對感興趣統計量的值範圍的說明，考慮到我們實際觀察到的特定數據樣本，這些值仍然是合理的。置信區間表示當多次重複實驗時，真實值位於置信區間中的頻率。每次重複實驗都使用來自相同基礎人口的不同數據樣本。

通常，我們要回答的問題是“統計量的哪些值與所觀察到的數據一致”，可信區間給出了該問題的直接答案-統計量的真實值位於概率為95％的可信區間內95％。置信區間不能直接回答這個問題。斷言該統計信息的真實值位於95％置信區間內的概率為95％（除非它恰好與可信區間一致）是不正確的。但是，這是對常識性置信區間的一種非常常見的誤解，因為它會直接回答問題。

我在另一個問題中討論過的Jayne's的論文給出了一個很好的例子（示例＃5）構造了一個完全正確的置信區間，其中基於其的特定數據樣本排除了統計的真實值在95％的置信區間內的任何可能性！這僅是一個問題，如果根據我們觀察到的特定樣本將置信區間錯誤地解釋為統計的合理值的陳述。

最後，這是一個問題的“課程”，哪個間隔最好取決於您要回答的問題-只需選擇直接回答該問題的方法即可。

我懷疑置信區間在分析[指定的]可重複實驗（因為這只是置信區間的假設）時更有用，而可信區間在分析觀測數據時更好，但這只是一種觀點（我同時使用了兩種間隔的時間，但都不會描述自己是專家。

我發現許多關於置信區間和可信集的解釋都是錯誤的。例如，置信區間不能以這種格式$ P（\ theta \ in CI）$表示。如果您仔細觀察“常客”和貝葉斯推論中的“分佈”，您會看到“常客”對數據的抽樣分佈進行研究，而貝葉斯對參數的（後）分佈進行研究。它們是在完全不同的“樣本空間”和Sigma代數上定義的。

所以是的，您可以說“如果重複多次實驗，則95％CI中的大約95％將覆蓋真實參數”。儘管在貝葉斯方法中您可以說“統計的真實價值在於95％可信區間內，概率為95％”，但是，這95％的概率（在貝葉斯方法中）本身僅是估計值。 （請記住，它基於給定此特定數據的條件分佈，而不是採樣分佈）。由於隨機樣本，此估算器應帶有隨機誤差。

貝葉斯嘗試避免出現I型錯誤問題。貝葉斯總是說在貝葉斯中談論I型錯誤是沒有意義的。這並非完全正確。統計人員總是想衡量“您的數據可以建議您做出決定，而總體上可以建議您做出決定”的可能性或錯誤。這是貝葉斯無法回答的（此處省略了詳細信息）。不幸的是，這可能是統計學家應該回答的最重要的事情。統計人員不僅僅提出決定。統計人員還應該能夠解決該決定有可能出錯的地方。

我必鬚髮明下表和術語來解釋這一概念。希望這有助於解釋置信區間和可信集的區別。

請注意，後驗分佈是$ P（\ theta_0 | Data_n）$，其中$ \ theta_0 $是從先前的$ P（\ theta_0）$定義的。在常客中，採樣分佈為$ P（Data_n; \ theta）$。 $ \ hat {\ theta} $的採樣分佈為$ P（\ hat {\ theta} _n; \ theta）$。下標$ n $是樣本大小。請不要使用符號$ P（Data_n | \ theta）$來表示頻繁抽樣。您可以談論$ P（Data_n; \ theta）$和$ P（\ hat {\ theta} _n; \ theta）$中的隨機數據，但不能談論$ P（\ theta_0 | Data_n）$中的隨機數據。

'???????'解釋了為什麼我們無法評估貝葉斯類型I錯誤（或類似的錯誤）。

請注意，在某些情況下，可以使用可信集來近似置信區間。但是，這僅僅是數學上的近似。解釋應該與常客相提並論。在這種情況下，貝葉斯解釋不再起作用。

胸苷在$ P（x | \ theta）$中的表示法不再常用。這仍然是貝葉斯。當談到頻率論者時，這種表示法引起了量度理論的根本問題。

我同意 Dikran Marsupial的結論。如果您是FDA審評人，您總是想知道您批准藥物申請但該藥物實際上無效的可能性。這是貝葉斯無法提供的答案，至少在經典/典型貝葉斯中是無法做到的。

通用且一致的信心和可靠的地區。 http://dx.doi.org/10.6084/m9.figshare.1528163，代碼為 http://dx.doi.org/10.6084/m9.figshare.1528187

提供了用於集合選擇的可信區間和置信區間的描述，以及通用R代碼，用於計算給定的似然函數和一些觀察到的數據。進一步提出了一種檢驗統計量，該檢驗統計量給出了相互一致的最佳大小的可信區間和可信區間。

簡而言之，避免使用公式。貝葉斯可信區間基於給定數據的參數的概率。它將具有高概率的參數收集到可信組/間隔中。 95％可信區間包含給定數據的參數在一起的概率為0.95。

常客的置信區間基於給定某些參數的數據的概率。對於每個（可能無限多個）參數，它首先生成給定參數可能會觀察到的數據集。然後針對每個參數檢查所選的高概率數據是否包含觀察到的數據。如果高概率數據包含觀察到的數據，則將相應的參數添加到置信區間。因此，置信區間是參數的​​集合，因此我們不能排除參數已生成數據的可能性。這給出了這樣一個規則，即如果反复應用於類似問題，則95％的置信區間將在95％的情況下包含真實參數值。

95％的可信集和95％的置信度集來自負二項式分佈的示例

這更多是評論，但時間太長。在以下論文中：隨機性時代的曙光 （大衛·芒福德）芒福德有以下有趣的評論：

雖然所有這些真正令人興奮的用途都來自統計數據， 由R.A.爵士領導的大多數統計學家自己。費舍爾 將他們的雙手綁在背後，堅持統計 只能在完全可複制的情況下使用，然後 僅使用經驗數據。這就是所謂的“常客” 與貝葉斯學校戰鬥的學校，貝葉斯學校認為 可以使用先驗和極大地使用統計推斷 擴展。這種方法否認統計推斷可以 與真實想法有關，因為現實生活中 總是埋在上下文變量中，並且不能重複。 幸運的是，貝葉斯學派並沒有完全死去，而是繼續 由DeFinetti，E.T.傑恩斯，還有其他人。