從幾何上講，矩陣$ \ bf A'A $被稱為標量乘積（=點積，=內部積）的矩陣。在代數上，它稱為平方和和乘積和矩陣（ SSCP ）。

第i個對角元素等於$ \ sum a_ {（i）} ^ 2 $，其中$ a _ {（i）} $表示$ \ bf A $的第$ i $列中的值，而$ \ sum $是跨行的總和。其中第ij個非對角線元素是$ \ sum a _ {{i）} a _ {{j）} $。

有許多重要的關聯繫數及其平方矩陣稱為角度相似度或SSCP類型相似度：

• 將SSCP矩陣除以$ n $，樣本大小或$ \ bf A $的行數，您會得到 MSCP （均方和叉積）矩陣。因此，該關聯度量的成對公式為$ \ frac {\ sum xy} {n} $（向量$ x $和$ y $是來自$ \ bf A $的一對列）。

• 如果您在$ \ bf A $的居中列（變量），則$ \ bf A'A $是散點（或-scatter（如果要嚴格的話）矩陣，而$ \ mathbf {A'A} /（n-1）$是協方差矩陣。協方差的成對公式為$ \ frac {\ sum c_xc_y} {n-1} $，其中$ c_x $和$ c_y $表示中心列。

• 如果z- standardize 列（減去列均值並除以標準差），則$ \ mathbf {A'A} /（n-1）$是Pearson相關性矩陣：相關性是標準化變量的協方差。成對的相關公式為$ \ frac {\ sum z_xz_y} {n-1} $，其中$ z_x $和$ z_y $表示標準化列。這種相關性也稱為線性係數。

• 如果您對$ \ bf A $的列進行 scale 列（將其SS（平方和）設為1），則$ \ bf A'A $為餘弦相似度矩陣。因此，等效的成對公式似乎是$ \ sum u_xu_y = \ frac {\ sum {xy}} {\ sqrt {\ sum x ^ 2} \ sqrt {\ sum y ^ 2}} $，其中$ u_x $和$ u_y $表示L2標準化列。餘弦相似度也稱為比例係數。

• 如果先 center 然後再將$ \ bf的unit- scale 列A $，然後$ \ bf A'A $再次是Pearson correlation 矩陣，因為對於中心變量$ ^ {1,2} $：$ \ sum cu_xcu_y = \ frac {\ sum {c_xc_y}} {\ sqrt {\ sum c_x ^ 2}} $

除了這四個主要關聯度量外，還要提到其他一些，也基於$ \ bf A'A $。可以將它們視為餘弦相似度的替代方法，因為它們採用不同於歸一化的公式，即公式中的分母：

• 恆等式 [Zegers & 10 Berge，1985]的分母是算術平均值而不是幾何平均值：$ \ frac {\ sum {xy}} {（\ sum x ^ 2 + \ sum y ^ 2）/ 2} $。當且僅當$ \ bf A $的被比較列相同時，它才可以為1。 >：$ \ frac {\ sum {xy}} {\ sum x ^ 2 + \ sum y ^ 2-\ sum {xy}} = \ frac {\ sum {xy}} {\ sum {xy} + \ sum {（xy）^ 2}} $。

• 最後，如果$ \ bf A $中的值是非負值，並且列中的 sum 為1（例如它們是比例），則$ \ bf \ sqrt {A}'\ sqrt A $是保真度或 Bh​​attacharyya 係數的矩陣。

$ ^ 1 $一種計算相關性或協方差矩陣的方法，被許多統計數據包使用，繞過以數據為中心，並以此方式直接偏離SSCP矩陣$ \ bf A'A $。令$ \ bf s $為數據$ \ bf A $的列總和的行向量，而$ n $為數據中的行數。然後（1）計算散點矩陣為$ \ bf C = A'A-s's / \ it n $ [因此，$ \ mathbf C /（n-1）$將為協方差矩陣]； （2）$ \ bf C $的對角線是偏差平方和，行向量$ \ bf d $； （3）計算相關矩陣$ \ bf R = C / \ sqrt {d'd} $。

$ ^ 2 $表示為“協方差”（包括按樣本量進行平均，除以 df =“ n-1”），表示為“餘弦”（不表示這種平均值）。但是實際上，在相關的第一個公式中沒有真正的平均發生。事情是那聖。依次通過除以相同的 df 來計算達到z標準化的偏差；因此，如果展開該公式，則協方差相關公式中的分母“ n-1”將完全抵消：公式變成餘弦公式。要計算經驗相關值，您真的需要 not 來了解$ n $（計算平均值時要居中）。

矩陣$ A ^ TA $包含$ A $中所有列的所有內積。因此，對角線包含列的平方範數。如果考慮到$ A $中列所跨越的列空間上的幾何圖形和正交投影，您可能還記得，跨越該空間的向量的範數和內積在投影的計算中起著核心作用。最小二乘回歸以及主成分可以通過正交投影來理解。

還請注意，如果$ A $的列是正交的，從而形成了列空間的正交基礎，則$ A ^ TA = I $ $-$單位矩陣。

@NRH提供了很好的技術答案。

如果您想要真正簡單的東西，可以將$ A ^ TA $視為標量的等效於$ A ^ 2 $的矩陣。

$ A'A $的幾何的一個重要觀點是（Strang在“線性代數及其應用”一書中強烈強調的觀點）：假設A是一個k階$ m \ times n $-矩陣，代表線性圖$ A：R ^ n \ rightarrow R ^ m $。令Col（A）和Row（A）為$ A $的列和行空間。然後

（a）作為實對稱矩陣，$（A'A）：R ^ n \ rightarrow R ^ n $具有非零特徵向量的基數\\ {e_1，...，e_n \} $特徵值$ d_1，\ ldots，d_k $。因此：

$（A'A）（x_1e_1 + \ ldots + x_ne_n）= d_1x_1e_1 + ... + d_kx_ke_k $。

（b）根據Col（A）的定義，範圍（A）= Col（A）。 因此，A | Row（A）將Row（A）映射到Col（A）。

（c）內核（A）是Row（A）的正交補碼。 這是因為矩陣乘法是根據點積（行i）*（列j）定義的。 （因此$ Av'= 0 \ iff \ text {v在內核（A）} \ iff v \ text {在Row（A）的正交補碼中} $

（d）$ A（R ^ n）= A（\ text {Row}（A））$和$ A | \ text {Row（A）}：\ text {Row（A）} \ rightarrow Col （A）$是同構。

 原因：如果v = r + k（r（在Row（A）中，k \在內核（A）中，來自（c））），則
A（v）= A（r）+ 0 = A（r）其中A（r）= 0 < == > r = 0 $。
 

[偶然提供了行等級=列等級的證明！]

（e）應用（d），$ A'|：Col（A）= \ text {Row（A）} \ rightarrow \ text {Col（A'）} = \ text {Row（A）} $是同構

（f）通過（d）和（e）：$ A'A（R ^ n）= \ text {Row（A）} $，A'A將Row（A）同構映射到Row（A）。

儘管已經討論過 $ \ textbf {A} ^ T \ textbf {A} $ span>的含義是使用點積，但我只會添加這種乘法的圖形表示。

實際上，而矩陣 $ \ textbf {A} ^ T $ span>的行（以及矩陣 $的列\ textbf {A} $ span>）代表變量，我們將每個變量的度量值視為多維向量。將 $ \ textbf {A} ^ T $ span>的行 $ row_p $ span>乘以列 $ \ textbf {A} $ span>的=“ math-container”> $ col_p $ span>等同於採用兩個向量的點積： $ dot（row_p，col_p）$ span>-結果是條目中的位置 $（p，p）$ span>矩陣 $ \ textbf {A} ^ T \ textbf {A} $ span>。

類似地，將 $ \ textbf {A} ^ T $ span>的行 $ p $ span>乘以 $ \ textbf {A} $ span>的列 $ k $ span>等效於點積： $ dot（row_p，col_k）$ span>，結果位於位置 $（p，k）$ span>。 >

所得矩陣 $ \ textbf {A} ^ T \ textbf的條目 $（p，k）$ span> {A} $ span>的含義是向量 $ row_p $ span>朝向向量 $ col_k $ span>。如果兩個向量 $ row_i $ span>和 $ col_j $ span>的點積不為零，則某些 $ row_i $ span>的>信息由向量 $ col_j攜帶 $ span>，反之亦然。

這個想法在主成分分析中起著重要的作用，在這裡我們想找到初始數據矩陣 $ \ textbf {A} $ span>的新表示形式， ，則沒有任何其他有關 $ i $ span>列的信息。 >。深入研究PCA，您會發現計算出了協方差矩陣的“新版本”，它變成了對角矩陣，我留給您意識到……確實意味著我在前一句話中所表達的內容。

有一定程度的直覺。對於那些熟悉矩陣符號統計的人來說，直覺是將其視為隨機變量的平方： $ x \ to E [x ^ 2] $ span> vs $ A \到A ^ TA $ span>

在矩陣表示法中，隨機變量 $ x $ span>觀察值的樣本 $ x_i $ span>或總體用列向量表示： $$ a = \ begin {bmatrix} x_1 \\ x_2 \\ \點\\ x_n \ end {bmatrix} $$ span>

因此，如果您想獲取變量 $ x $ span>的平方的樣本均值，則只需得到點積 $$ \ bar {x ^ 2} = \ frac {a \ cdot a} n $$ span>，在矩陣表示法上與 $ A ^ TA $ span>。

請注意，如果變量的樣本均值為零，則方差等於平方的均值： $ \ sigma ^ 2 = E [x ^ 2] $ span>類似於 $ A ^ TA $ span>。這就是為什麼在PCA中您需要零均值以及為什麼 $ A ^ TA $ span>出現之後，所有PCA都要分解數據集的方差矩陣的原因