Dense全連接層介紹

Tensorflow的全連接層

對Tensorflow而言,全連接層的類別為: tf.keras.layers.Dense
相關介紹: https://www.tensorflow.org/api_docs/python/tf/keras/layers/Dense

甚麼是全連接層

在 Dense 層中,每個輸入都會對每個輸出進行綜合計算,得到一個輸出值。這個綜合計算包括了對輸入和前一層輸出的矩陣乘法,以及對輸入和輸出的加權和。計算過程中,對輸入的乘法是通過對每個輸入的加權,得到的权重矩陣就是Dense層的權重矩陣。這些权重矩陣就是Dense層所學習的模型參數。

這層的經典用途就是進行分類,把特徵轉成概率,進而做出預測, 可以實現多種不同的操作, 如全連接,激活函數等,是基礎網路結構的基礎。

Dense層中通常還會有一個偏差項, 每個輸出都有一個偏差項, 該項是Dense層的一部分參數, 也會在學習過程中更新。

最后 Dense層 還會有一個激活函數, 用於對綜合計算的結果進行非線性轉換, 增加網絡的非線性表達能力。

全連接層的優點

在多數的深度學習模型中,輸出層常常使用 Dense 層,這是因為 Dense 層具有下列優點:

1. Dense層可以實現任意的非線性轉換,而輸出層需要進行非線性轉換,因為在大多數情況下,輸出的預測結果需要進行非線性轉換。

2. Dense層具有較高的計算效率,對於輸出層來說,需要進行大量的運算,而 Dense 層可以高效地完成這些運算。

3. Dense層 可以通過學習來自動調整權重和偏差,而且可以將輸入特徵在輸出層進行組合, 獲得高維度且有用的輸出.

因此, Dense層 是輸出層的選擇之一,並且被廣泛使用。

簡單的圖片介紹

下圖第二和第三層,與全部前一層相連接,便為Dense層

我們可以單純使用Dense來建構一個MNIST的分類器,其格式如下:

實踐概念

Dense層是使用線性代數裡的矩陣運算概念實現的。

具體地說,Dense層的計算過程包括了對輸入和前一層輸出的矩陣乘法,以及對輸入和輸出的加權和。 這個綜合計算可以用下面這個矩陣的形式來表示

y = W*x + b

其中 y 是 Dense 層的輸出,x 是輸入,W 是 Dense 層的權重矩陣, b 是偏差項。

這個運算滿足矩陣乘法的性質, W 可以看成是一個 m x n 的矩陣, x 是一個 n x 1 的向量, 這樣 y 就是一個 m x 1 的向量,就是輸出。這種運算方式可以幫助網絡在運算過程中組合特徵,輸出高維度且有用的特徵。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *