最大似然估計（MLE）是一種找到最可能函數的技術，該函數解釋了觀察到的數據。我認為數學是必要的，但不要讓它在乎您！
讓我們說我們在$ x，y $平面中有一組點，並且我們想知道函數參數$ \ beta $和$ \ sigma $最有可能適合數據（在這種情況下，我們知道該函數是因為我指定了它來創建此示例，但請耐心等待）。
data <- data.frame（x = runif（200，1，10））data $ y <-0 + beta * data $ x + rnorm（200，0，sigma）plot（data $ x， data $ y）
為了進行MLE，我們需要對函數的形式進行假設。在線性模型中，假設這些點遵循正態（Gaussian）概率分佈，均值$ x \ beta $，方差$ \ sigma ^ 2 $：$ y = \ mathcal {N}（x \ beta，\ sigma ^ 2）$。此概率密度函數的公式為：$$ \ frac {1} {\ sqrt {2 \ pi \ sigma ^ 2}} \ exp {\ left（-\ frac {（y_i-x_i \ beta）^ 2} { 2 \ sigma ^ 2} \ right）} $$
我們要查找的是參數最大化所有點的概率$（x_i，y_i）$。這是“可能性”函數，$ \ mathcal {L} $
$$ \ mathcal {L} = \ prod_ {i = 1} ^ n y_i = \ prod_ {i = 1} ^ n \ dfrac {1} {\ sqrt {2 \ pi \ sigma ^ 2}} \ exp \ Big（{-\ dfrac {（y_i-x_i \ beta）^ 2} {2 \ sigma ^ 2}} \ Big）$ $由於各種原因，使用似然函數的對數會更容易：$$ \ log（\ mathcal {L}）= \ sum_ {i = 1} ^ n- \ frac {n} {2} \ log（2 \ pi）-\ frac {n} {2} \ log（\ sigma ^ 2）-\ frac {1} {2 \ sigma ^ 2}（y_i-x_i \ beta）^ 2 $$
我們可以使用$ \ theta =（\ beta，\ sigma）$將其編碼為R中的函數。
linear.lik <-函數（theta，y，X）{n <- nrow（X）k <- ncol（X）beta <- theta [1：k] sigma2 <- theta [k + 1] ^ 2 e <- y-X ％beta
logl <--.5 * n * log（2 * pi）-。5 * n * log（sigma2）-（（（t（e）％*％e）/（2 * sigma2））return（-logl）}
此函數以$ \ beta $和$ \ sigma $的不同值創建表面。
表面<- list（）k <-0for（seq（0，5，0.1）中的beta）for for（seq（0.1，5，0.1）中的sigma）{k <- k + 1 logL <-線性。 lik（theta = c（0，beta，sigma），y = data $ y，X = cbind（1，data $ x））表面[[k]] <- data.frame（beta = beta，sigma = sigma， logL = -logL）}}表面<- do.call（rbind，surface）library（lattice）wireframe（logL〜beta * sigma，surface，shade = TRUE） 
如您所見，此表面上某處有一個最大點。我們可以使用R的內置優化命令找到指定此點的參數。這相當接近揭示真實參數$ 0，\ beta = 2.7，\ sigma = 1.3 $
linear.MLE <- optim（fn = linear.lik，par = c（1,1,1），下= c（-Inf，-Inf，1e-8），上= c（Inf，Inf，Inf），粗麻布= TRUE，y = data $ y ，X = cbind（1，data $ x），method =“ L-BFGS-B”）linear.MLE $ par ## [1] -0.1303868 2.7286616 1.3446534
普通最小二乘法是線性模型的最大似然，因此 lm 將給我們相同的答案是有意義的。 （請注意，使用$ \ sigma ^ 2 $來確定標準錯誤）。
summary（lm（y〜x，data））## ##調用：## lm（公式= y〜x，數據=數據）## ##殘差：##最小1Q中位數3Q最大值## -3.3616 -0.9898 0.1345 0.9967 3.8364 ## ##係數：##估計標準。誤差t值Pr（> | t |）##（攔截）-0.13038 0.21298 -0.612 0.541 ## x 2.72866 0.03621 75.363 <2e-16 *** ## --- ##符號。編碼：0'***'0.001'**'0.01'*'0.05'。' 0.1''1
## ##殘餘標準誤差：在198個自由度上為1.351 ##多個R平方：0.9663，調整後R平方：0.9661 ## F統計量：在1和198 DF上為5680，p值：< 2.2e- 16