假設您正在嘗試通過迭代次數來最小化目標函數。當前值為$ 100.0 $。在給定的數據集中，沒有“不可減少的錯誤”，您可以將訓練數據的損失降至$ 0.0 $。現在，您有兩種方法可以做到這一點。

• 第一種方法是“提高學習率”和減少迭代次數。假設您可以在每次迭代中將損失減少$ 10.0 $，然後在$ 10 $迭代中將損失減少到$ 0.0 $。

• 第二種方法是“學習緩慢率”，但迭代次數更多。假設您可以將每次迭代的損失減少$ 1.0 $，並且需要$ 100 $的迭代才能使訓練數據損失0.0。

現在考慮一下：這兩種方法是等於？如果不是在優化上下文和機器學習上下文中哪個更好？

在優化文獻中，這兩種方法是相同。他們倆都收斂到最佳解決方案。另一方面，在機器學習中，它們並不相等。因為在大多數情況下，我們不會將訓練中的損失設為$ 0 $，否則會導致過度擬合。

我們可以將第一種方法視為“粗級網格搜索”，將第二種方法視為“細級網格搜索”。第二種方法通常效果更好，但是需要更多的計算能力來進行更多的迭代。

為防止過度擬合，我們可以做不同的事情，第一種方法是限制迭代次數，假設我們正在使用第一種這樣，我們將迭代次數限制為5。最後，訓練數據的損失為$ 50 $。 （順便說一句，從 optimization 的角度來看，這很奇怪，這意味著我們將來可以改進我們的解決方案/它尚未收斂，但我們選擇不這樣做。在優化中，通常我們顯式添加約束或目標函數的懲罰項，但通常不限制迭代次數。）

另一方面，我們也可以使用第二種方法：如果我們將學習率設置為較小，例如可以使每次迭代減少$ 0.1 $的損失，儘管我們有很多次迭代，例如說$ 500 $迭代，我們仍然沒有最小化損失到$ 0.0 $。

這就是為什麼小學習率等於“更多正則化”的原因。

這裡是一個示例，其中對使用 xgboost 。請檢查以下兩個鏈接以查看 eta 或 n_iterations 的含義。

Tree Booster的參數

XGBoost控件過擬合

對於相同的迭代次數，例如$ 50 $。較小的學習率是“欠擬合”（或者模型具有“高偏差”），而較大的學習率是“過度擬合”（或者模型具有“高方差”）。

PS。擬合不足的證據是訓練集和測試集都有較大的誤差，並且訓練集和測試集的誤差曲線彼此接近。過度擬合的跡像是訓練集的誤差很低，測試集的非常高，兩條曲線彼此相距很遠。

使用牛頓法，可以通過減去損耗的斜率除以損耗的曲率來更新參數。在梯度下降優化中，您可以通過減去損耗的梯度乘以學習率來更新參數。換句話說，學習率的倒數被用來代替實際的損失曲率。而不是壞人。這是真正的損失。讓我們定義最優化損失是通過更新規則實際最小化的內容。

根據定義，正則化參數是最優化損失中的任何術語，但不是問題失利。由於學習率在優化損失中的作用類似於額外的二次項，但與問題損失無關，因此它是一個正則化參數。

正則化的其他示例也證明了這一觀點： / p>

• 權重衰減，這就像是對損失較大的最佳損失的優化損失中的額外一項，
• 對複雜模型進行懲罰的項以及
• 懲罰特徵之間的相關性。