梯度方法通常比$ p（x）$更能優化$ \ log p（x）$，因為$ \ log p（x）$的梯度通常更容易縮放。也就是說，它的大小可以始終如一地並有用地反映目標函數的幾何形狀，從而更容易選擇合適的步長並以更少的步長達到最佳。

要了解我的意思，請比較$ p（x）= \ exp（-x ^ 2）$和$ f（x）= \ log p（x）= -x ^ 2 $的梯度優化過程。在任意點$ x $處，$ f（x）$的梯度為$$ f'（x）= -2x。$$如果將其乘以$ 1/2 $，我們將得到達到不管$ x $是什麼，原始的全局最優值。這意味著我們不必為了獲得良好的步長而付出很大的努力（或用ML術語“學習率”）。無論我們的起始點在哪裡，我們都將步長設置為漸變的一半，然後一步步到達原點。而且，如果我們不知道所需的確切因素，我們可以選擇一個大約為1的步長，進行一些線搜索，我們會很快找到一個很大的步長，無論在哪裡，都可以正常工作$ x $是。此屬性對於$ f（x）$的轉換和縮放具有魯棒性。雖然縮放$ f（x）$將導致最佳步長縮放不同於1/2，但無論$ x $是什麼，至少步長縮放都將是相同的，因此我們僅需找到一個參數即可獲得有效的基於梯度的優化方案。

相反，$ p（x）$的梯度具有非常差的全局優化屬性。我們有$$ p'（x）= f'（x）p（x）= -2x \ exp（-x ^ 2）。$$這會將完美的，行為良好的漸變$ -2x $乘以一個因子$ \ exp（-x ^ 2）$隨著$ x $的增加呈指數衰減（快於）。在$ x = 5 $的情況下，我們已經有$ \ exp（-x ^ 2）= 1.4 \ cdot 10 ^ {-11} $，因此沿著梯度向量的步長大約是$ 10 ^ {-11} $倍。為了使合理的步長達到最佳，我們必須按梯度的倒數來縮放梯度，這是一個巨大的常數$ \ sim 10 ^ {11} $。這樣的縮放比例差的縮放效果比出於優化目的無用的效果更糟-我們最好只是嘗試在上坡方向執行單位步長，而不是通過按$ p'（x）$縮放來設置步長！ （在許多變量中，$ p'（x）$變得很有用，因為我們至少從梯度中獲取了方向信息，但是縮放問題仍然存在。）

通常不能保證$ \ log p（x）$會像這個玩具示例一樣具有出色的漸變比例屬性，尤其是當我們有多個變量時。但是，對於幾乎所有非平凡的問題，$ \ log p（x）$都會比$ p（x）$更好。這是因為似然性是一個包含大量項的大乘積，對數將乘積轉化為總和，如其他幾個答案所述。從最優化的角度出發，假設似然項是行為良好的，它們的對數通常是行為良好的，行為良好的功能之和也應保持行為良好。 “表現良好”是指$ f''（x）$的變化不會太大或太快，導致了幾乎二次函數，可以通過梯度方法輕鬆優化。無論導數的階數如何，導數的和都是該和的導數，這有助於確保一大堆總和項具有非常合理的二階導數！

下溢

計算機使用分數的有限數字浮點表示形式，因此乘以如此多的概率可以保證非常非常接近零

有了$ log $，我們就不會遇到這個問題。

1. 多個聯合概率的對數簡化為單個概率的對數之和（並且求和規則比乘積規則容易區分）

   $ \ log \ left（\ prod_i P（x_i）\ right）= \ sum_i \ log \ left（P（x_i）\ right）$

2. 指數概率分佈家族成員的對數（包括普遍存在的正態）在參數中是多項式的（即最大似然降低為最小二乘

   $ \ log \ left（\ exp \ left（-\ frac {1} {2} x ^ 2 \ right）\ right）=-\ frac {1} {2} x ^ 2 $

3. 後一種形式比前一種形式更數值上穩定和符號上更容易區分。

4. 最後但並非最不重要的是，對數是一個單調變換，它保留極值的位置（尤其是在原始和對數轉換後的公式的最大似然性相同）

ol>

採用對數和的導數要比採用包含100乘數的乘積的導數容易得多。

通常，最基本，最簡單的優化問題是優化二次函數。無論從何處開始，都可以輕鬆找到此類功能的最佳選擇。這種表現方式取決於特定的方法，但是您的函數越接近二次方就越好。

如TemplateRex所述，在各種各樣的問題中，用於計算似然函數的概率來自於正態分佈或由其近似。因此，如果您處理日誌，則會得到一個很好的二次函數。而如果您處理這些概率，則您有一個函數

1. 不是凸面的（到處都是優化算法的禍根）
2. 快速跨越多個尺度，因此具有函數值指示要在何處定向的範圍非常狹窄。
ol>

您寧願優化哪個函數， this或 this？

（這實際上很簡單；在實際應用中，您的搜索可能會偏離最佳值，以至於即使您能夠進行數字計算，它們的函數值和梯度也將難以區分。從0開始，對於優化算法而言是無用的，但是轉換為二次函數使這很容易。

請注意，這與已經提到的數值穩定性問題完全一致。使用此功能需要對數刻度的原因，這與對數概率表現出更好的效果（出於優化和其他目的）的原因完全相同。

您還可以採用另一種方​​法。即使對數沒有任何優勢（有）-我們還是要使用對數刻度進行推導和計算，所以有什麼理由僅將exp變換用於計算梯度呢？我們也可能與日誌保持一致。

通過使用$ \ ln p $，我們增加了優化算法的動態範圍。應用程序中的$ p $通常是功能的產物。例如，在最大似然估計中，它是形式為$ L（x | \ theta）= \ Pi_ {i = 1} ^ nf（x_i | \ theta）$的乘積，其中$ f（。）$是密度函數，它可以大於或小於1，順便說一句。

因此，當$ n $非常大（即大樣本）時，您的似然函數$ L（。）$通常遠離1：非常小或非常大，因為它是冪函數$ L \ sim f（。）^ n $。

通過記錄日誌，我們可以簡單地提高任何優化算法的動態範圍，使其以相同的方式適用於極大或極小的值。

已經給出了一些不錯的答案。但是我最近遇到了一個新的：

通常，您會得到一個龐大的訓練數據集 $ \ mathcal {X} $ span>，然後定義了一些概率模型 $ p（x | \ theta）$ span>，並且您希望最大化\ mathcal {X} $ span>中 $ x \的可能性。它們被認為是獨立的，即您有 $$ p（\ mathcal {X} | \ theta）= \ prod_ {x \ in \ mathcal {X}} p（x | \ theta）。 $$ span> 現在，您經常進行某種基於隨機（小批量）梯度的訓練，即在每一步中，對於損失 $ L $ span>，您可以優化 $ L（\ mathcal {X'} | \ theta）$ span>表示 $ \ mathcal {X'} \ subset \ mathcal {X} $ span>，即 $$ \ theta'：= \ theta-\ frac {\ partial \ sum_ {x \ in \ mathcal {X'}} L（x | \ theta）} {\ partial \ theta}。 $$ span> 現在，這些隨機步驟會累加累加。因此，您通常需要的屬性 $$ L（\ mathcal {X} | \ theta）= \ sum_ {x \ in \ mathcal {X}} L（x | \ theta）。 $$ span> 情況就是這樣 $$ L（x | \ theta）=-\ log p（x | \ theta） $$ span>