題:
貝葉斯會承認有一個固定的參數值嗎?
ATJ
2014-01-29 18:20:05 UTC
view on stackexchange narkive permalink

在貝葉斯數據分析中,參數被視為隨機變量。這源於貝葉斯概率的主觀概念化。但是貝葉斯理論上是否承認“真實世界”中存在一個真實的固定參數值? 。學術上對此答案的引用將不勝感激。

給我該參數,我將為其定義一個分佈。 :-)
七 答案:
Bernd Weiss
2014-01-29 20:07:29 UTC
view on stackexchange narkive permalink

恕我直言“是”!這是格陵蘭(Greenland,2006:767)我最喜歡的語錄之一:對於常客和貝葉斯主義者,參數的值可能從一開始就是固定的,或者可能是從物理隨機機制生成的。在這兩種情況下,兩者都假定它具有我們想知道的某個固定值。貝葉斯算法使用形式概率模型來表達有關該值的個人不確定性。這些模型中的“隨機性”代表了個人對於參數值的不確定性;它不是參數的屬性(儘管我們希望它能準確反映出生成該參數的機制的屬性)。

Greenland,S.(2006)。貝葉斯流行病學研究的觀點:I.基礎和基本方法。 國際流行病學雜誌,35(3),765-774。

有點相反,不能說粒子的(位置,動量)是我們可以嘗試估計的“參數”嗎?有人可能會爭辯說,此參數沒有“固定”值,因此我們應該真正將其視為一種分佈。大自然在某些情況下會把未知數專門視為分佈而不是固定值。在實踐中,我認為這種推理對貝葉斯算法不是很有吸引力,但是我認為要完全回答OP的問題,需要對隨機性進行一些討論。
對於將分佈視為推理目標,我看不出什麼是“不合情理的”。確實,用參數索引事物是可選的,例如可以直接使用函數的分佈來斷言自己的不確定性(請參閱高斯過程中的Neal和Williams)。而且,對於“隨機性”可以用概率演算來表示不確定性,不需要有任何特殊的看法。可以說,基於採樣(理論)的推論*需要*這樣的理論,但據我所知貝葉斯主義不是(或至少不需要)。
我不同意貝葉斯(Bayesian)假設參數具有固定值,並且僅僅是他們的個人不確定性促使他們將參數定義為分佈而不是點。我已經嘗試在答案中對此進行擴展。您的個人/理論不確定性是分佈的一部分,但在我看來,即使您的個人先驗非常精確,您的模型也實際上是對模型中遺漏的變量進行平均,從而創建了分佈。
Dikran Marsupial
2014-01-29 18:32:49 UTC
view on stackexchange narkive permalink

貝葉斯概率的概念不一定是主觀的(參見Jaynes)。此處的重要區別在於,貝葉斯試圖通過將參數合理值的先驗分佈與總結某些觀察結果中包含的信息的可能性相結合,來確定其關於參數值的知識狀態。因此,作為貝葉斯主義者,我對參數具有真實值的想法感到滿意,這是未知的,後驗分佈的目的是總結我對其合理值的了解,根據我以前的假設和觀察。

現在,當我創建模型時,該模型是不現實的。因此,在某些情況下,相關參數確實存在(例如,袋熊的平均體重),而在某些問題中則不存在(例如,回歸參數的真實值-回歸模型只是以下結果的模型)控制系統的物理定律,而回歸模型實際上可能無法完全捕獲這些定律)。因此,可以說在現實世界中存在一個真實的固定參數值並不一定是正確的。

在另一方面,我建議大多數常客認為統計量有一個真實值,但是他們也不知道這是什麼,但是他們有估計量和估計值的置信區間,從某種意義上說,它們量化了關於不同值的合理性的不確定性(但是概率論的頻繁性概念阻止他們表達這一點。直接)。

我一直認為“主觀概率”被稱為主觀概率,因為它們指的是*進行計算的對象的屬性*(即她的知識),而不是客觀現實的性質(例如,不完全公平骰子的權重分佈) )。
@nikie有一些原則,例如MaxEnt和用於以客觀方式定義先驗的轉換組。在那種情況下,無論誰執行什麼操作,計算都會給出相同的答案(機器人會得出相同的結論)。頻繁統計也不是沒有主觀性的,例如如何為假設檢驗設置$ \ alpha $,但是這樣做的目的是從“個人概率/信念”而非“合理程度”的意義上從統計中刪除主觀性( IIRC)。
我知道,但是它們仍然是主觀概率,對嗎?因為他們仍在描述受試者對某些參數的了解(對於常客來說,根本不是隨機變量)
不一定有一個主題。一組機器人或計算機都可以執行相同的計算並得出相同的結論,無論是使用貝葉斯常客還是客觀主義者貝葉斯方法。這是“知識”狀態,而與執行計算的對象無關,這就是為什麼它是客觀的而不是主觀的。
Sycorax
2014-01-29 18:53:53 UTC
view on stackexchange narkive permalink

最重要的是,在貝葉斯數據分析(第3版,93年)中,蓋爾曼還寫了

從貝葉斯數據分析的角度來看,我們可以通常基於一些隱式全概率模型將經典點估計解釋為精確或近似後驗總結。實際上,在大樣本量的限制內,我們可以使用漸近理論為經典的最大似然推斷構造理論上的貝葉斯合理性。

因此,也許不是“貝葉斯”應該“承認”這一點。實際上,確實存在單個實參值,但是常客應該訴諸貝葉斯統計來證明其估計程序合理! (我這樣說是堅定不移的。)

我不贊成這樣的籠統聲明:貝葉斯統計基於主觀概率,暗示貝葉斯是主觀的,而其他推論範式則不是。當然,這是可以提出的一個論點,也許還包括“賭注的連貫性”論點的觀點,但請參見蓋爾曼,他在此處將“貝葉斯”定義為使用後驗分佈 $ \ Pr(\ theta | y)$ span>,和這裡在這裡他反對過於嚴格的定義。

但是這個想法自然界或社會系統中只有一個參數只是一個簡化的假設。可能會有一些華麗的過程產生可觀察的結果,但是發現該系統異常複雜。假設只有一個固定參數值,則極大地簡化了問題。我認為這切入了您問題的核心:貝葉斯主義者不必像常客主義者那樣“承認”進行這種簡化。

您介意闡述為什麼您拒絕基於主觀概率的貝葉斯推理嗎?我讀過的介紹性文章(克魯什克,林奇)似乎都是這樣。是否只是部分主觀(來自先前)?
-1
@ATJ,介紹性文字講述了一個激勵方法的故事。像那個故事之類的東西可能最初激發了這些方法。但這並不意味著該故事對人們在實踐中應用這些方法時所做的假設有很大影響。 (這個故事可能是胡說八道:例如,關於統計中涉及的概率可以按照頻率的定義來定義的方式,而這種頻率往往是介紹性的頻繁性文章有時說的沒有道理的-Google Alan Hajek的“ 15個論點”論文。這並不意味著常客統計不起作用;它確實可以。)
Wayne
2014-01-30 09:32:08 UTC
view on stackexchange narkive permalink

您是否認為像喝牛奶對孩子的成長的貢獻那樣只有一個“真正的固定參數”?還是要根據您注入患者體內化學X的量來減少腫瘤的大小?選擇任何您熟悉的模型,並問自己是否真的相信每個參數,即使在理論上也存在一個真實,通用,精確和固定的值。

忽略測量誤差,只看一下您的彷彿所有測量都是完美精確和無限精確一樣。對於您的模型,您是否認為每個參數實際上都有一個特定的點值?

擁有模型的事實表明您省略了一些細節。您的模型將具有一定程度的不精確性,因為您需要對為建立模型而遺漏的參數/變量求平均,這是對現實的簡化表示。 (就像您未製作行星的1:1地圖,包含所有詳細信息一樣,而是製作1:10000000地圖或進行了一些簡化。該地圖是模型。)

給出您正在對剩餘變量進行平均,模型中包含的變量的參數將是分佈,而不是點值。

這只是貝葉斯哲學的一部分-我忽略了理論不確定性,測量不確定性,先驗等,但是在我看來,您的參數具有分佈的想法很直觀,就像描述性統計信息具有分佈一樣。

“您的參數具有分佈”參數是否具有分佈取決於您通過分佈“平均”的含義。實際上,參數可能*具有*固定值。例如,盒子中的大理石數量,電子電荷,特定時間的存貨價值。但是,我們對那些具有分佈的變量進行“處理”(它們沒有“擁有”),因為這些值混雜在類似實體但具有不同值的集合中(例如,不同日期的不同股票,多個裝有大理石的盒子,或電子上的多個不同測量值)。
Stéphane Laurent
2014-01-29 19:03:05 UTC
view on stackexchange narkive permalink

但是貝葉斯理論上是否承認在“現實世界”中存在一個真正的固定參數值?

在我看來,答案是肯定的。該參數的值$ \ theta_0 $未知,並且先前的分佈描述了我們對該參數的知識/不確定性。在貝葉斯數學模型中,$ \ theta_0 $被認為是遵循先驗分佈的隨機變量的實現。

$ \ theta_0 $到底是什麼,即下標$ 0 $代表什麼?
Karl Damgaard Asmussen
2014-01-30 06:20:18 UTC
view on stackexchange narkive permalink

如果我們將貝葉斯主義與確定性的宇宙相結合(在您說出其中帶有“量子”一詞的任何內容之前,請逗我一下,並記得這不是Physical.stackexchange),我們會得到一些有趣的結果。

使我們的假設明確:

  1. 我們有一個貝葉斯代理作為一部分並遵守確定性宇宙。
  2. 該代理的計算資源有限。
  3. 現在,確定性宇宙可能是原子是牛頓小台球的地方。它可能完全是非量子的。假設是這樣。

    代理商現在可以擲出一枚公平的硬幣。想一想,公平硬幣在確定性宇宙中是什麼構成的?硬幣的概率比率為50/50?

    但這是確定性的!有了足夠的計算能力,您可以完全通過模擬以相同方式翻轉硬幣的模型來精確計算硬幣的落地方式。

    在確定性宇宙中,公平的硬幣將是具有密度均勻。沒有力量迫使它花費一個臉比另一個臉花費更多的時間(想想骰子的加權功能如何。)

    因此代理人擲出一枚公平的硬幣。但是,該代理還不夠強大。它沒有足夠銳利的眼睛來測量硬幣在翻轉時的旋轉方式,只能看到模糊。

    所以它說:“這枚硬幣將以50%的概率落在正面。”信息不足會導致概率下降。

    我們可能會研究硬幣投擲的階段空間。一個大型的多維坐標系,其坐標軸與投擲方向,投擲力,硬幣旋轉,風速和風向等有關。此空間中的單個點對應於單個可能的硬幣翻轉。 ,它將為所有顏色上均勻的灰色陰影。

    如果我們逐漸為它提供功能更強大的內部計算機,以用來計算打印頭的概率,它將能夠做出越來越多的辨別顏色。當我們最終給它提供功能最強大的內部計算機時,使它變得無所不知,它將有效地繪製一個奇怪的棋盤。

    公平的硬幣不是由概率構成的,而是由金屬製成的。概率僅存在於計算結構中。貝葉斯人說。

Analyst
2014-01-29 18:51:19 UTC
view on stackexchange narkive permalink

存在不正確的先驗,例如Jeffreys,它與Fishers Information矩陣有一定關係。那就不是主觀的。

您能否詳細說明Jeffreys的先驗及其與Fisher信息矩陣的關係意味著貝葉斯推理不是主觀的?據我了解,使用Jeffreys先驗的主要原因是它對於模型的可選參數化是不變的。此外,在多維環境下,這些杰弗里斯的先驗知識可能會非常有用,其結果是有爭議的(Gelman,BDA 3,第53頁)。這會破壞其“客觀性”嗎?
@user777,是基於客觀密度的參數,因此是客觀的。假設我將似然乘以1,那麼在該概率之前,我是否先作了主語?由於後驗概率與先前的x可能性有關。
如果他們想使用可能性,常客也必須調用真實模型的公理... :)


該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...