原則上：

使用在整個數據集上訓練的單個模型進行預測（因此只有一組特徵）。交叉驗證僅用於估計在整個數據集上訓練的單個模型的預測性能。使用交叉驗證至關重要，因為在每一次折疊中，您都要重複用於擬合主要模型的整個過程，否則，您可能會在性能上產生極大的樂觀偏差。

了解為什麼會發生這種情況，請考慮具有1000個二元特徵但只有100個案例的二元分類問題，其中案例和要素都是純隨機的，因此，要素與案例之間沒有任何統計關係。如果我們在整個數據集上訓練主要模型，由於特徵多於案例，我們總是可以在訓練集上實現零誤差。我們甚至可以找到“信息性”功能的子集（碰巧是偶然關聯的）。如果我們然後僅使用那些功能執行交叉驗證，我們將獲得比隨機猜測更好的性能估計。原因是，在交叉驗證過程的每一個步驟中，都有一些有關用於測試的暫留案例的信息，因為這些案例被選中是因為它們很好地進行了預測，因此選擇了所有特徵，包括已保留的那些。當然，真正的錯誤率將是0.5。

如果我們採用正確的過程，並在每次折疊中執行特徵選擇，則在選擇使用的特徵時將不再有任何關於所保留案例的信息。折。如果使用正確的過程，在這種情況下，您將得到大約0.5的錯誤率（儘管對於不同的數據集實現，其錯誤率會有所不同）。

好的論文可供閱讀：

Christophe Ambroise，Geoffrey J. McLachlan，“基於微陣列基因表達數據的基因提取中的選擇偏向”，PNAS http://www.pnas.org/content/99/10/ 6562.abstract

與OP和

Gavin C. Cawley高度相關，Nicola LC Talbot，“論模型選擇中的過擬合和性能評估中的後續選擇偏差”，JMLR 11（7月）： 2079−2107，2010年 http://jmlr.csail.mit.edu/papers/v11/cawley10a.html

表明，在選擇模型時很容易發生同一件事（例如，調整SVM的超參數，在CV過程的每次迭代中也需要重複這些參數。）

在實踐中：

我建議使用Bagging，並且使用袋外誤差來評估性能。您將獲得使用許多功能的委員會模型，但這實際上是一件好事。如果僅使用單個模型，則很可能會過度擬合特徵選擇條件，最終導致模型的預測要比使用大量特徵的模型差。

艾倫·米勒斯（Alan Millers）關於回歸子集選擇的書（查普曼和霍爾關於統計和應用概率的專著，第95卷）給出了很好的建議（第221頁），如果預測性能是最重要的，那麼不要做任何功能選擇，只需使用嶺回歸。那就是關於子集選擇的書！！！ ; o）

這是一個很好的問題，在處理SNP數據時我遇到了我自己...而且在文獻中我沒有找到任何明顯的答案。

無論您使用LOO還是K-fold CV，您都會得到不同的功能，因為交叉驗證迭代必須是最外部的循環，如您所說。您可以想到一種投票方案，該方案將對您從LOO-CV獲得的特徵的n個向量進行評分（不記得該論文，但是值得檢查 Harald Binder或 AntoineCornuéjols）。在沒有新的測試樣本的情況下，通常要做的是一旦找到最佳的交叉驗證參數，就將ML算法重新應用於整個樣本。但是以這種方式進行操作，就不能確保沒有過度擬合（因為該樣本已經用於模型優化）。

或者，您可以使用嵌入式方法，為您提供通過度量來進行特徵排名的方法具有不同的重要性，例如就像隨機森林（RF）中一樣。由於RF中包含交叉驗證，因此您不必擔心$ n \ ll p $的情況或維數的詛咒。以下是有關它們在基因表達研究中的應用的好論文：

1. Cutler，A.，Cutler，D.R.和Stevens，J.R.（2009）。 《癌症研究中的高維數據分析》中的基於樹的方法，Li，X.和Xu，R.（eds。），第83-101頁，Springer。
2. Saeys，Y.，Inza，I.和Larrañaga，P.（2007）。生物信息學中的特徵選擇技術綜述。 Bioinformatics ， 23（19）：2507-2517。
3. Díaz-Uriarte，R.，Alvarez deAndrés，S.（2006年）。使用隨機森林對基因芯片數據進行基因選擇和分類。 BMC生物信息學， 7 ：3。
4. Diaz-Uriarte，R.（2007年）。 GeneSrF和varSelRF：基於網絡的工具和R包，用於使用隨機森林進行基因選擇和分類。 BMC生物信息學， 8 ：328
ol>

由於您在談論SVM，因此可以查找懲罰的SVM 。

要添加到chl中：使用支持向量機時，強烈推薦的懲罰方法是彈性網。這種方法會將係數縮小到零，並且理論上保留了模型中最穩定的係數。最初它是在回歸框架中使用的，但是很容易擴展以與支持向量機一起使用。

原始出版物：Zou和Hastie（2005）：正則化和變量選擇通過彈性網。統計學家協會B，67-2，pp.301-320

用於SVM的彈性網：Zhu & Zou（2007）：支持向量機的變量選擇：神經計算趨勢，第2章（編輯：Chen和Wang）

對彈性網的改進 Jun-Tao和Ying-Min（2010年）：用於癌症分類和基因選擇的改進彈性網：自動化學報，36-7，pp.976-981

在第6步（或第0步）中，您需要對整個數據集運行特徵檢測算法。

邏輯如下：您必須將交叉驗證視為一種找出特徵的算法。用於選擇功能的過程的屬性。它回答了一個問題：“如果我有一些數據並執行此過程，那麼對新樣品進行分類的錯誤率是多少？”。知道答案後，就可以對整個數據集使用該過程（功能選擇+分類規則開發）。人們喜歡一勞永逸，因為預測屬性通常取決於樣本量，並且$ n-1 $通常足夠接近$ n $無關緊要。

這就是我選擇功能的方式。假設基於某些知識，有2個模型要進行比較。模型A使用1號到1號特徵。 10.模型B使用11至11號。 20.我將LOO CV應用於模型A，以獲得其樣本外性能。對模型B執行相同操作，然後進行比較。

我不確定分類問題，但在針對回歸問題進行特徵選擇的情況下，邵軍證明了 Leave-One-Out CV漸近不一致，即選擇隨著樣本數量的增加，特徵的適當子集不會收斂到1。從實際的角度來看，Shao建議進行Monte-Carlo交叉驗證或遺忘處理程序。