Y=AX 或 Y=AX (1.17)

方程（1.17）顯示了矩陣乘法的兩種書寫約定。 前者是線性代數中常用的矩陣乘法書寫形式，后者常用于張量分析，表示向量的點乘運算。 方程（1.18）寫成1個分量的形式。

(1.18)

這里有兩點需要解釋一下。 有時使用字母和下標來表示矩陣元素。 在矩陣乘法的過程中，有的文獻會寫出約定的求和方法，即省略求和符號，使用相同的索引/代表進行求和。 對于矩陣乘法，還有其他的乘法形式，比如矩陣的哈達瑪積()，就是矩陣對應元素的乘法，其形式如下。

(1.19)

這里需要注意的是，式（1.19）中的相同索引并不意味著求和，而只是元素的乘法。 與此類似的是矩陣加法運算，表示矩陣對應元素的相加。

(1.20)

矩陣運算本身也有類似于數字運算的規則。

(1)分配率

A(B+C)=AB+AC

(2)結合律：

(AB)C=A(BC)

(3)交換律：矩陣運算不存在交換律。

1 矩陣分塊運算和線性變換

回顧下面的簡單方程。

(1.21)

Y=ax+b

這是 x 和 y 之間存在某種關系的簡單表示。 如果將x和y視為二維空間中的坐標，則式(1.21)表示空間中的某條直線。 寫成矩陣乘法和加法，形式如下。

(1.22)

Y=AX+B

式（1.22）實際上代表了矩陣X進行線性變換得到Y的過程。因此，矩陣的線性變換實際上是式（1.21）的展開。 這意味著X和Y之間存在一些簡單的關系。取Y、X、B的某個列向量r、y、b，公式如下。

(1.23)

y=Ax+b

這表示向量的線性變換。 在給出式（1.22）的過程中，我們需要解釋一個細節，就是矩陣的分塊運算。 矩陣的乘法和加法運算可以分解為子矩陣的乘法運算。 例如，如果將式（1.22）中的矩陣的每一列視為一個子矩陣（向量），則可以將其寫成分塊形式。 在式(1.23)中，X來自x1~xn。

(1.24)

X=[x1,...,xn]

如果Y和B都寫成類似的形式，那么X和A的乘法可以寫成以下形式。

(1.25)

這就是矩陣的分塊運算。 當然，分塊運算還有其他劃分形式，讀者可以參考線性代數的相關內容。 如果y=0，則方程(1.23)變為以下形式。

(1.26)

斧頭=-6

方程（1.26）是標準線性方程組。 從矩陣分塊運算的角度來看，m組n個未知數的方程寫成方程（1.23）所示的緊湊形式。 矩陣可以簡化公式的書寫。 假設.4矩陣有m行n列，嚴格來說還需要Rank(A)=min(m,n)。

(1) 如果m=n英語作文，則意味著未知數的個數和方程的個數相等，這是一個適定方程。

(2)如果米

(3) 如果 m >n，則表示未知數的個數小于方程的個數，這是一個超定方程。

存在三個典型問題。 對于適定問題，如果矩陣行列式不等于0，則方程有唯一解（空間中的一個點）； 對于欠定方程，方程有無限解（空間表面）； 對于超定方程，只有近似解。 機器學習問題應該都是超定問題矩陣行列式的運算法則，即方程數量多于未知數數量。 然而，也有一些例外，例如深度學習模型，其中未知數的數量可能大于方程的數量。

現在舉一個簡單的例子。 假設二維空間中共有4個點(1.0,1.1)(2.0,1.9)(3.0,3.1)(4.0,4.0)。 求出這4點所在的直線。 如果直線的方程為y=ax+b，那么代入4個數據點后，會得到4個方程，有兩個未知數a.6，所以這是一個典型的超定問題。 此時，a和6得到的任何值都不能很好地描述經過4個點的直線。 但如果a=1，b=0，雖然此時無法準確描述z和y的關系，但是這樣就可以得到(1.0,1.0)，與數據點(1.0,1.1)非常接近。 因此，獲得了近似意義（最小二乘）的解。 這是一個非常典型的機器學習問題。 從這個例子中可以看出，機器學習實際上是一個尋找數據模式的過程。 假設數據符合直線分布就是我們給定的模型，求解給定模型的參數的過程稱為優化。 這里讀者無需過多思考機器學習問題，稍后我們會更詳細地解釋。 這只是為了說明機器學習問題在大多數情況下是一個超定問題。 然而，由于可訓練參數（即未知數）較多，當訓練樣本不足時（每個訓練數據都是一個方程），深度學習模型可能并不是一個超定問題。 這時候你就會面臨過擬合的風險。 因此，機器學習，尤其是深度學習，需要大量的樣本（數量遠遠超過未知數的數量，即可訓練參數的數量）來學習有價值的信息。 知識。

1.2 矩陣分解

如上所述，空間中的某個坐標向量可以寫成多個向量的相加。

(1.27)

對于一組不全為0的向量，如果其中任意一個向量不能用方程（1.27）形式的其他向量來表示，則說明該組向量是線性無關的，或者說該組向量是線性的獨立的。

線性獨立的概念很重要。 如果幾個向量不是線性無關的，即某個向量可以用其他向量來表示，那么就不需要存儲這個向量。 舉個簡單的例子。

(1.28)

方程（1.28）表示向量

它仍然是線性相關的，即我們只需要存儲三個向量中的兩個即可恢復第三個向量。 這種恢復是無損的，是信息壓縮最原始的思想。這里加強了約束。 方程（1.27）右邊的每個向量

它們之間的關系如下。

(1.29)

方程(1.29)中描述的向量彼此正交并且是單位向量。

(1.30)

單位向量：長度為 1 的向量。

向量是正交的：兩個向量的內積為 0。

坐標基向量是最簡單的單位向量。

因此，實際上方程（1.27）就是坐標向量的坐標基展開，這是空間上使用的概念。 當然，并非所有坐標基向量都是正交的，也不一定是單位向量。

對于一組矩陣向量

換句話說，每個向量可以由多個其他向量的加權和來表示。

(1.31)

在，

表示第j個單位向量的第i個元素。同理

表示第 k 個向量的第 i 個元素。 此時，式(1.31)實際上可以用矩陣乘法的形式來表示。

(1.32)

在方程（1.32）中，向量

矩陣V可以分解為兩個矩陣A和E的乘積。如果m>k，即我們可以用少于m個數來表示向量V，這是一個標準的數據壓縮過程。 這時A就可以代表矩陣V的特征，如果想要恢復V，還需要保存E。但在機器學習中，通常只需要A就足夠了，因為它包含了V的信息。

從前面的內容我們可以知道，式（1.32）是矩陣的線性變換，這種變換的目的是信息壓縮。 這個過程需要求解矩陣E。如果W=E^T，則信息壓縮方法可以寫成如下。

W稱為變換矩陣。 這就是通過矩陣的線性變換來壓縮數據的過程。

1.3 方陣的線性變換：特征值分解

特征值分解是矩陣分解的最簡單形式，也是最常用的矩陣算法。 特征值分解適用于方陣。 接下來，將某個矩陣A分解為三個矩陣相乘的形式。

(1.34)

這是矩陣乘法的逆運算，也是典型的欠定問題，因為矩陣分解不唯一。 為了解決這個非唯一性問題，我們對分解矩陣添加約束。 第一個約束是特征值分解中的E矩陣是正交矩陣。

(1.35)

此時，式（1.33）中的變換矩陣W為E。另一個約束是對角矩陣A，對角線上的元素稱為特征值。 E 中的向量稱為特征向量。

對于特征值分解來說，它本身就有明確的幾何意義。 如果把矩陣A看成1.1.2節中的仿射變換矩陣，那么上面提到的坐標與矩陣0.4的乘積實際上就代表了空間的旋轉和拉伸變換。 因此，仿射變換本身可以分解為旋轉和拉伸。 因此，式（1.34）得到的矩陣中，E表示空間的旋轉變換，A表示空間的拉伸變換。 這里以二維情況進行簡單說明，如圖1.9所示。

圖1.9 仿射變換示意圖

1.4 非方陣線性變換：奇異值分解

作為一種矩陣分解算法，特征值分解的主要缺點是它只能應用于方陣。 非方陣最具代表性的矩陣分解算法是奇異值分解（SVD）。

(1.36)

SVD的求解過程可以使用特征值分解來進行，這需要將矩陣轉換為方陣。

(1.37)

對B進行特征值分解，利用對應元素的相等性，得到如下關系：

(1.38)

根據式(1.36)矩陣行列式的運算法則，M的值可得如下：

(1.39)

至此，三個矩陣就已經完全確定了。 因此，有人說矩陣的特征值分解是SVD的基礎。 同時可以看出，矩陣A變換為矩陣M的過程相當于矩陣A的線性變換。

1.5 其他線性變換：字典學習

對于SVD分解來說，一個非常大的問題就是約束太嚴格。 例如，矩陣和V是正交矩陣。 這就導致計算過程中為了滿足分解條件而降低信息壓縮的質量。 因此，產生了另一種更通用的約束方法。

(1.40)

假設條件N足夠稀疏，M稱為字典。 在這種情況下，正交性假設被削弱，得到的信息壓縮效果會更好。

本文摘自《深度學習算法與實踐》

本書旨在為讀者建立完整的深度學習知識體系。 全書共分三個部分。 第一部分是深度學習相關的數學基礎； 第二部分是深度學習的算法基礎及相關實現； 第三部分是深度學習的實際應用。 通過閱讀本書，讀者可以加深對深度學習算法的理解，并將其應用到實際工作中。 本書適合對深度學習感興趣并想從事相關工作的讀者。 也可作為高等院校相關專業的教學參考書。