我認為這種方法是錯誤的，但是如果我解釋原因，也許會更有幫助。想要了解有關大量變量的一些信息的最佳模型是可以理解的。而且，在這種情況下，人們似乎經常發現自己。此外，許多有關回歸的教科書（和課程）涵蓋逐步選擇方法，這意味著它們必須合法。然而不幸的是，事實並非如此，而這種情況和目標的配對很難成功地解決。以下是自動逐步模型選擇過程的問題列表（歸因於Frank Harrell，並從此處複製）：

1. 它產生R平方
2. 打印輸出上每個變量旁邊引用的F和卡方檢驗不具有所要求的分佈。
3. 該方法產生置信區間錯誤地縮小了效果和預測值；參見Altman and Andersen（1989）。
4. 產生的p值含義不正確，對其進行正確的校正是一個困難的問題。
5. 給出有偏回歸需要收縮的係數（剩餘變量的係數太大；請參見Tibshirani [1996]）。
6. 在存在共線性的情況下存在嚴重問題。
7. 基於方法（例如，用於嵌套模型的F檢驗），旨在用於檢驗預先設定的假設。
8. 增加樣本數量並沒有太大幫助；參見Derksen和Keselman（1992）。
9. 它使我們不必考慮問題。
10. 它使用大量紙張。
ol>

問題是，這些程序有什麼不好？為什麼會出現這些問題？大多數參加了基礎回歸課程的人都熟悉均值回歸的概念，因此這就是我用來解釋這些問題的方法。 （儘管乍一看這似乎是題外話，但是請允許我，我保證它是相關的。）

想像一下，在試訓的第一天，一名高中田徑教練。三十個孩子出現了。這些孩子具有某種內在能力的內在能力，教練和其他任何人都無法直接使用這些內在能力。結果，教練唯一能做的就是讓他們全部跑100m。時間大概是衡量其內在能力的標準，因此被認為是時間。但是，它們是概率性的。某人的表現有多大比例取決於他們的實際能力，而有多少是隨機的。想像一下真實情況如下：

  set.seed（59）intrinsic_ability = runif（30，min = 9，max = 10）time = 31-2 * intrinsic_ability + rmrm（30 ，均值= 0，標準偏差= .5） 

下圖顯示了第一場比賽的結果以及教練對孩子的評論。

請注意，按照比賽時間對孩子進行劃分會使他們的內在能力重疊-這個事實至關重要。在讚美一些並大喊大叫之後（教練傾向於這樣做），他讓他們再次跑步。以下是第二場比賽的結果，教練的反應（從上述相同模型模擬而來）：

請注意，它們的內在能力是相同的，但是時間相對於第一種族反彈。從教練的角度來看，他大喊大叫的人趨於改善，而他稱讚的人則趨於惡化（我從Wiki頁面上列出的Kahneman引用中改編了這個具體示例），儘管實際上回歸均值是一個簡單的數學運算教練基於部分隨機的度量為團隊選擇運動員這一事實的結果。

現在，這與自動（例如逐步）模型選擇技術有什麼關係？基於同一數據集開發和確認模型有時稱為數據挖掘。儘管變量之間存在一些潛在的關係，並且期望更強的關係會產生更強的得分（例如，更高的t統計量），但這些是隨機變量，並且實現的值包含誤差。因此，當您基於具有較高（或較低）的實現值來選擇變量時，由於其潛在的真實值，錯誤或兩者兼而有之，它們可能是這樣。如果您以這種方式前進，那麼您會像教練在第二場比賽后一樣感到驚訝。無論您是基於具有高t統計量還是具有低相關性來選擇變量，這都是正確的。的確，使用AIC比使用p值更好，因為它會懲罰模型的複雜性，但是AIC本身是一個隨機變量（如果多次運行研究並擬合同一模型，AIC會像其他）。不幸的是，這只是現實本身的認知本質所固有的問題。

我希望這會有所幫助。

檢查R中的插入符軟件包。它將幫助您交叉驗證逐步回歸模型（使用 method ='lmStepAIC'或 method ='glmStepAIC'），並且可以幫助您了解這類模型的預測性能如何趨於下降。此外，您可以在插入符號中使用 findCorrelation 函數來識別和消除共線變量，而在插入符號中使用 rfe 函數來消除t統計量較低的變量（請使用 rfeControl = rfeControl（functions = lmFuncs））。

但是，如前面的答案所述，這些變量選擇方法可能會給您帶來麻煩，特別是如果您反復進行操作。絕對要確保您在完整的測試集上評估性能。直到對算法滿意後，再看看測試集！

最後，使用具有“內置”特徵選擇的預測模型（例如ridge）可能會更好（更簡單）回歸，套索或彈性網。具體來說，請嘗試使用 method = glmnet 參數作為插入符號，並將該模型的交叉驗證的準確性與 method = lmStepAIC 參數進行比較。我的猜測是，前者將為您提供更高的樣本外準確性，並且您不必擔心實現和驗證自定義變量選擇算法。

我完全同意@gung概述的問題。也就是說，實際上，模型選擇是一個需要實際解決方案的實際問題。這是我將在實踐中使用的一些東西。

1. 將您的數據分為訓練，驗證和測試集。
2. 訓練集上的訓練模型。
3. 使用諸如預測均方根誤差（RMSE）之類的指標在驗證集上測量模型性能，並選擇預測誤差最低的模型。
4. 根據需要設計新模型，重複步驟2-3。
5. 報告該模型在測試集上的表現。
ol>

以在現實世界中使用此方法為例，我相信它曾在Netflix獎競賽中使用。

要回答這個問題，有幾種選擇：

1. 由AIC / BIC組成的所有子集

2. 由p逐步生成值

3. 通過AIC / BIC逐步進行

4. 正則化（例如LASSO）（可以基於AIC / BIC或CV ）

5. 遺傳算法（GA）

6. 其他？

7. 使用非自動的，面向理論（“學科知識”）的選擇

ol>

下一個問題是方法更好。該論文（doi：10.1016 / j.amc.2013.05.016）指出，“所有可能的回歸”都對他們提出的新方法給出了相同的結果，而逐步方法則更糟。他們之間有一個簡單的GA。本文（DOI：10.1080 / 10618600.1998.10474784）將懲罰回歸（橋樑，套索等）與“跳越界線”（似乎是窮舉搜索算法，但速度更快）進行了比較，還發現“橋樑模型與來自通過跳躍方法選擇子集”。該論文（doi：10.1186 / 1471-2105-15-88）表明GA優於LASSO。本文（DOI：10.1198 / jcgs.2009.06164）提出了一種方法-本質上是全子集（基於BIC）方法，但巧妙地減少了計算時間。他們證明此方法比LASSO更好。有趣的是，這篇論文（DOI：10.1111 / j.1461-0248.2009.01361.x）顯示了方法（1）-（3）產生了相似的性能。

因此，總體而言，結果是喜憂參半

對於第7步，使用面向對象的非自動理論（“主題知識”）進行選擇。這是耗時的，並且不一定比自動方法更好。實際上，在時間序列文獻中，可以確定的是，自動化方法（尤其是商業軟件）在很大程度上“優於”人類專家（doi：10.1016 / S0169-2070（01）00119-4，第561頁），例如選擇各種指數平滑法和ARIMA模型。

這是左字段之外的答案-使用回歸樹（rpart包）代替線性回歸。這適合自動模型選擇，因為您只需做一些工作就可以自動選擇cp（用於避免過度擬合的參數）。

我們在R基本統計數據包中確實有一個名為step（）的函數，該函數根據最低的AIC進行模型的前進，後退或逐步選擇。這也適用於因子變量。這不是目的嗎？。

這裡的答案建議不要選擇變量，但是問題是真實的……並且仍然存在。正如在自然論文盲目的分析：隱藏結果以求真相中討論的那樣，盲分析是在實踐中應更多嘗試的想法。。

此想法在該站點的另一篇文章多重比較和輔助研究中已提及。盲目的數據或引入額外的模擬噪聲變量的想法肯定已經在模擬研究中用於逐步顯示問題，但是這裡的想法是在實際數據分析中盲目的使用它。

我看到我的問題引起了很多興趣，並且引起了關於自動模型選擇方法有效性的有趣辯論。我同意將自動選擇的結果視為理所當然是有風險的，但可以將其用作起點。因此，這是我針對特定問題的實現方法，即找到最佳n個因子來解釋給定變量

1. 對所有回歸變量與各個因素進行對比
2. 按給定的標準對回歸進行排序（例如AIC）
3. 刪除t統計量較低的因素：按2中給出的順序，它們對解釋變量
4. 沒有用。 ，請嘗試將這些因素一一添加到模型中，並在它們改善我們的標準時予以保留。同樣，要反复考慮所有因素。
ol>

這很粗糙，可能有方法可以改進方法，但這是我的出發點。我正在發布此答案，希望它對其他人有用。歡迎發表評論！