題:
在回歸模型中,所有交互項都需要它們各自的項嗎?
djhocking
2012-05-04 07:10:29 UTC
view on stackexchange narkive permalink

我實際上正在審閱作者將5-6 logit回歸模型與AIC進行比較的手稿。但是,某些模型具有交互項,但不包括各個協變量項。這樣做有意義嗎?

例如(不特定於logit模型):

  M1:Y = X1 + X2 + X1 * X2M2:Y = X1 + X2M3:Y = X1 + X1 * X2(缺少X2)M4:Y = X2 + X1 * X2(缺少X1)M5:Y = X1 * X2(缺少X1 & X2) 

我一直給人的印像是,如果您有交互項X1 * X2,則還需要X1 + X2。因此,模型1和2會很好,但模型3-5會有問題(即使AIC較低)。它是否正確?它是準則還是更多準則?有人有很好的參考資料來解釋其背後的原因嗎?我只是想確保我不會在評價中傳達任何重要信息。

謝謝您的想法,丹

+1,我認為這是一個非常好的問題。您可能還想看看[這個先前的問題](http://stats.stackexchange.com/questions/11009/includes-the-interaction-but-not-not-the-main-effects-in-a-model)覆蓋了同一地區的大部分地區。那裡的答案也非常好。
AFAIK:在R的lm()中,`:`用於交互,如A:B。*是用於主要效果和交互作用,因此A * B = A + B + A:B。因此,如果論文的作者遵循這種表示法,那麼我認為沒有任何模型會缺少主要的影響嗎?
已經有很多好的答案。在某些不需要*主要*效果的情況下,有一篇[Rindskopf的論文](http://psycnet.apa.org/journals/bul/108/1/150/)。(另請參閱[此](http://psycnet.apa.org/journals/met/4/4/339/))
另外,與當前答案相同的邏輯適用於更高階的互動(例如,如果您包含3方式,則需要所有2方式的互動)
七 答案:
Macro
2012-05-04 07:45:10 UTC
view on stackexchange narkive permalink

在大多數情況下,這不是一個好主意-主要原因是它不再使模型隨位置移動而不變。例如,假設您有一個結果$ y_i $和兩個預測變量$ x_i $和$ z_i $並指定模型:

$$ y_i = \ beta_0 + \ beta_1 x_ {i} z_i + \ varepsilon $$

如果要通過預測變量使它們居中,則$ x_i z_i $變為

$$(x_i-\ overline {x})(z_i-\ overline { z})= x_i z_i-x_ {i} \ overline {z}-z_ {i} \ overline {x} + \ overline {x} \ overline {z} $$

因此,您可以看到主要效果已重新引入模型。

我在這裡給出了一個啟發式的論點,但這確實提出了一個實際的問題。如 Faraway(2005)第114頁所述,當模型中未包含主要效果時,比例的累加變化會更改模型推論,而包含低階項時則不會發生。通常不希望出現諸如位置偏移之類的任意事情,從而導致統計推斷(從而導致查詢結論)發生根本性變化,例如在模型中包含多項式項或沒有低階影響的相互作用時可能發生的情況。

注意::在某些特殊情況下,如果$ x_i z_i $具有特定的實質含義,或者您 only 觀察乘積,而不觀察單個變量$ x_i,z_i $。但是,在那種情況下,我們不妨想到預測變量$ a_i = x_i z_i $並繼續進行模型

$$ y_i = \ alpha_0 + \ alpha_1 a_i + \ varepsilon_i $$

而不是將$ a_i $視為一個交互項。

當模型中沒有任何低階項時,規模的加性變化會改變除高階項以外的所有項的推論(t統計量)。預測變量的加性變化通常也會改變其主要影響(低階項)的_t_。在完整的模型中。保留了_總體擬合_(R ^ 2)(但是在刪除了一些主要效果的模型中,在累加更改下未保留)。那是你想說的嗎?
是的,沒錯,@ttnphns-感謝您指出這一點-我對答案做了一些修改以反映這一點。
Tristan
2012-05-04 08:51:18 UTC
view on stackexchange narkive permalink

到目前為止,所有答案似乎都遺漏了一個非常基本的觀點:您選擇的功能形式應該足夠靈活以捕獲與科學相關的功能。在沒有科學依據的情況下,模型2-5在某些條件上施加了零係數。即使在科學上合理,模型1仍然具有吸引力,因為您最好測試零係數而不是強加零係數。

關鍵是要了解限制的含義。避免使用3-5模型的典型建議是,在大多數應用中,它們所施加的假設在科學上是不可信的。模型3假設X2僅影響斜率dY / dX1,但不影響水平。模型4假設X1僅影響斜率dY / dX2,但不影響水平。模型5假設X1和X2都不影響電平,而僅dY / dX1或dY / dX2影響。在大多數應用中,這些假設似乎並不合理。模型2的係數也為零,但仍有一些優點。它為數據提供了最佳的線性近似,在許多情況下都滿足科學目標。

(+1)都是如此,但原始的發帖人似乎描述了作者試圖進行模型選擇的情況,並且他們的某些候選模型不包含交互作用-因此,他們的動機受到AIC的指導而不是實質性的操作(這總是很危險的事情,但是顯然他們已經做到了)。當您受實質性指導時,則應由該模型決定模型結構。但是,如我在回答中所指出的那樣,當您以統計標準為指導時,忽略主要影響可能會導致性能變差。
gung - Reinstate Monica
2012-05-04 08:18:46 UTC
view on stackexchange narkive permalink

+1到@Macro。讓我提出我認為與分類預測變量有關的相似觀點。很大程度上取決於它們如何編碼。例如,參考單元格(又稱“虛擬”)編碼使用0 & 1,而效果編碼使用-1,0 &1。考慮一個簡單的情況,其中有兩個因子,每個因子有兩個級別,則$ x_1x_2 $可以是[0, 0、0、1]或[1,-1,-1、1],具體取決於所使用的編碼方案。我相信,在一種編碼方案中,只有相互作用是“重要的”,而在另一種編碼方案中,所有術語都是“重要的”。這意味著有意義的解釋性決策將基於任意編碼決策做出,而實際上,您的軟件可能在您不知情的情況下為您做出了決策。我意識到這只是一個小問題,但這只是一個原因,通常僅保留交互(當然也不要基於p值選擇預測變量的子集)通常不是一個好主意。

類別主效應的顯著性檢驗不變。一組可能與治療編碼下的參考組有顯著差異,但與對比編碼下的“均值”效應沒有顯著差異。
Emil Friedman
2012-05-09 01:42:15 UTC
view on stackexchange narkive permalink

由於您正在審閱一篇論文,所以您可能建議作者討論模型層次結構的問題,並證明他們偏離模型層次的理由。

以下是一些參考:

  1. Nelder JA。響應面模型中術語的選擇-弱遺傳原理有多強?美國統計學家。 1998; 52:315-8。 http://www.jstor.org/pss/2685433。訪問2010年6月10日。

  2. Peixoto JL。多項式回歸模型中的分層變量選擇。美國統計學家。 1987; 41:311-3。 http://www.jstor.org/pss/2684752。 2010年6月10日訪問。

  3. Peixoto JL。格式良好的多項式回歸模型的性質。美國統計學家。 1990; 44:26-30。 http://www.jstor.org/pss/2684952。 2010年6月10日訪問。

  4. ol>

    我通常遵循等級制度,但在某些情況下會脫離等級制度。例如,如果要以幾種不同的速度測試輪胎磨損與行駛里程,則模型可能看起來像:

    胎面深度=截距+行駛里程+行駛里程*速度

    ,但不會從物理上講包括速度的主要影響,因為輪胎不知道零英里時的速度。

    (另一方面,您可能仍要測試速度影響,因為它另一方面,一種更好的處理闖入的方法是在零里程和很低里程的情況下獲取數據,然後測試非線性。

    我還要重申上面的內容,因為它非常重要:作者需要確保他們知道自己的軟件是否使數據居中。如果該軟件將里程數替換為(里程數-里程數的平均值),則上述輪胎模型在物理上變得毫無意義。

    在藥物穩定性研究中也涉及到同樣的問題(在“順序存儲的穩定性模型”中相切提及,Emil M. Friedman和Sam C. Shum,AAPS PharmSciTech,第12卷,第1期,2011年3月, DOI:10.1208 / s12249-010-9558-x)。

謝謝您,這是一個很好的答案,它將幫助我向不具備統計學知識的人進行解釋。
+1我希望有可能在SO上合併答案。這與上面接受的答案形成了完美的答案。
Greg Snow
2012-05-08 10:04:24 UTC
view on stackexchange narkive permalink

我有一個真實的案例可以說明這一點。在數據中,其中一個變量表示 group 帶有0控件和1處理。另一個預測變量表示時間段為治療前0和治療後1。相互作用是衡量治療效果的主要指標,治療組治療後的差異高於對照組的任何時間影響。 group 的主要作用是在進行任何治療之前測量了兩組的差異,因此很容易將其設為0(在隨機實驗中應為0,而沒有)。第二個主要效果是對沒有進行治療的對照組的前後時間段之間的差異進行測量,因此也可以將交互作用項設為非零值,將其設為0。當然,這取決於事物的編碼方式,不同的編碼會改變含義,以及在沒有主要效果的情況下交互是否有意義。因此,在特定情況下,僅在沒有主要影響的情況下使交互適合才有意義。

那麼,這是否意味著一切都取決於您的研究目標或基於您的參數?
@Ben,可能取決於您如何對變量進行參數設置(在我的示例中,將每個變量的0/1更改為1/0都會改變解釋),您要回答的問題以及您願意做出的假設。
感謝您的回复。我有兩種互動方式,想與一個虛擬的年份互動。我只想評估兩種交互方式下的2008年(法規年度)。因此可以使用$$ Y = B_0 + B_1 X + B_2 Z + B_3X * Z * 2008 + yearDummies $$ X和Z是連續變量,Z是調節等級。2008年的得分為1,其他年份為0。因此,就像我只接受2008年的觀測而沒有互動一樣。我讀到了關於弱遺傳和強遺傳的原理,但並不清楚
-1
非常感謝,這很有幫助。將$$ B1X $$與互動的輸出進行比較是否可以,儘管$$ B1X $$是整個時期,而互動僅適用於2008年
@Ben,我不確定我是否理解最後一個問題,但是基本上在做出預測時,您將在非2008年使用B1X,在2008年使用B1X和B3XZ的組合(由於所做的其他假設,B3確實使用了2008年以外的信息)。
是的,但是我的意思是要知道Z在2008年是否對X具有交互作用,我必須將B1X的t和p值與B3X * Z * 2008進行比較。是這樣嗎,還是我必須創建BX * 2008?換句話說,我如何知道B3X * Z * 2008是否改善了這種關係?非常感謝@Greg
@Ben,我建議進行完整的簡化模型測試。將模型與感興趣的術語匹配,如果不匹配,則將其進行比較。如果要比較一個模型沒有嵌套在另一個模型中的模型,則可以使用AIC(或BIC)進行比較(但不會獲得p值)。
Michael R. Chernick
2012-05-05 00:48:14 UTC
view on stackexchange narkive permalink

我同意彼得的看法。我認為規則是民俗。我們為什麼可以設想這樣一個情況,即兩個變量僅由於交互作用才影響模型。化學上的類比是兩種化學物質本身完全是惰性的,但混合在一起會引起爆炸。諸如不變性這樣的數學/統計細節與真實數據的真實問題無關。我只是認為,如果要考慮所有主要影響因素以及大多數(如果不是全部)一階相互作用,那麼在要考慮許多變量時,需要進行大量測試。即使在只有少量變量的小型實驗中,我們也幾乎永遠不會考慮二階相互作用。這種想法是,交互作用的順序越高,則產生實際效果的可能性就越小。因此,如果主要效果不存在,請不要關註一階或二階交互。好的規則也許但認真地遵循它意味著忽略了例外,而您的問題可能是例外。

回复:“諸如不變性的數學/統計細節與真實數據的真實問題無關”-它確實與真實數據的真實問題有關,因為您的$ p $值以及統計推斷(因此也是如此)您對預測變量重要性的“現實世界”決定)可能取決於決定預測變量居中地位的決定。
我可能會誤以為是不變性在現實世界中沒有意義。我的初衷是,某些數學結果可能與特定的實際問題無關。例如,最小二乘估計是在正常誤差假設下的最大似然,而高斯馬爾可夫定理是在較弱條件下無偏的最小方差,但是當數據中存在異常值時,我將不使用它。同樣,當醫學上認為不變性會在沒有主要作用的情況下發生時,不變性之類的特性是否應排除相互作用?
arielf
2012-05-10 23:16:06 UTC
view on stackexchange narkive permalink

[試圖回答大多數問題中似乎沒有發現的原始問題的一部分:“作為模型選擇標準的AIC應該值得信賴嗎?”

AIC應該更多地用作指南,而不是應視為福音的規則。

AIC(或BIC或任何類似的“簡單”標準用於模型選擇)的有效性在很大程度上取決於學習算法和問題。

>

這樣考慮:AIC公式中的複雜度(因子數量)項的目標很簡單:避免選擇過度擬合的模型。但是,AIC的簡單性通常無法捕獲問題本身的真正複雜性。這就是為什麼還有其他實用技術可以避免過度擬合的原因:例如交叉驗證或添加正則項。

當我使用在線SGD(隨機梯度下降)對數據進行線性回歸時設置了非常多的輸入,我發現AIC是模型質量的可怕預測指標,因為它過分地懲罰了帶有大量項的複雜模型。在現實生活中,很多情況下每個術語的影響都很小,但總的來說,它們在一起為結果提供了有力的統計依據。 AIC和BIC的模型選擇標準會拒絕這些模型,而選擇更簡單的模型,儘管更複雜的模型會更好。

最後,這是泛化錯誤(大致:出於樣本性能考慮)至關重要。在某些相對簡單的情況下,AIC可以給您一些模型質量的提示。請小心並記住,現實生活往往比簡單公式複雜得多。



該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...