smwikipedia
2014-05-16 07:04:48 UTC
我正在使用KL散度來度量2 $ pmf $ $ P $和$ Q $之間的差異。
$$ D_ {KL}（P || Q）= \ sum_ {i = 1} ^ N \ ln \ left（\ frac {P_i} {Q_i} \ right）P_i $$$$ =-\ sum P（X_i）ln \ left（Q（X_i）\ right）+ \ sum P（ X_i）ln \ left（P（X_i）\ right）$$
如果$$ P（X_i）= 0 $$則我們可以輕鬆地計算出$$ P（X_i）ln \ left（Q （X_i）\ right）= 0 $$ $$ P（X_i）ln \ left（P（X_i）\ right）= 0 $$
但是如果$$ P（X_i）\ ne0 $$和$$ Q（X_i）= 0 $$如何計算$$ P（X_i）ln \ left（Q（X_i）\ right）$$
為了節省其他所有人的時間，您可能想要將$ P（X_i）！= 0 $更改為$ P（X_i）\ ne 0 $，並帶有“ \ ne”令牌
此外，您是說所有$ X_i $的$ Q（X_i）= 0 $嗎？在這種情況下，未定義KL散度，因為$ Q $不是概率函數（其總和必須大於1）。
@Matthew謝謝，改正了。我無意中遵循了編碼習慣。
@Matthew $ Q（X_i）= 0 $對於某些$ X_i $，不是全部。我正在考慮一種變通方法，以將$ P $和$ Q $基於*同一組*結果，並為未顯示的結果添加少量*偽計數*，例如0.001。它可以避免零值概率。但是我不確定是否有副作用。