神經元的權重與偏差
在神經網絡中，權重 (weight) 和偏差 (bias) 是模型的兩個重要參數。
權重 (weight) 指的是神經網絡中的輸入層和輸出層之間的連接強度。每個神經元都有一個權重矩陣，表示與該神經元相連的輸入張量的強度。輸入張量與輸出張量之間的權重越大，該神經元對輸出的貢獻就越大。
偏差 (bias) 指的是神經網絡中的偏移量。每個神經元都有一個偏差值，表示該神經元的輸出在不考慮輸入的情況下的預設值。偏差值可以控制神經網絡的輸出範圍，並且可以用於控制模型的準確性。
在訓練神經網絡模型時，通常會使用梯度下降法來調整權重和偏差的值，以使得模型的輸出與真實值的差異最小。
設定神經元的偏差值
在訓練神經網絡模型時，通常可以自己設定神經元的偏差值。
例如，在 TensorFlow 中可以使用以下方式創建一個帶有偏差的神經元:
|
1 2 3 4 |
import tensorflow as tf # 創建一個帶有偏差的神經元 neuron = tf.keras.layers.Dense(units=1, bias_initializer=tf.constant_initializer(1.0)) |
上面使用了 bias_initializer 參數指定了偏差的初始值為 1.0。
使用梯度下降法調整偏差值
在訓練神經網絡模型時，通常會使用梯度下降法來調整偏差的值，以使得模型的輸出與真實值的差異最小。通常會使用 TensorFlow 的自動微分機制來計算模型的梯度，並使用梯度下降法調整偏差的值。
簡單範例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
import tensorflow as tf # 創建一個帶有偏差的神經元 neuron = tf.keras.layers.Dense(units=1, bias_initializer=tf.constant_initializer(1.0)) # 創建模型 model = tf.keras.Sequential([neuron]) # 定義損失函數和優化器 loss_fn = tf.keras.losses.MeanSquaredError() optimizer = tf.keras.optimizers.SGD(learning_rate=0.1) # 訓練模型 for epoch in range(10): # 訓練數據 x_train = [1.0, 2.0, 3.0, 4.0] y_train = [0.0, 0.0, 0.0, 0.0] # 將訓練數據放入模型 for x, y in zip(x_train, y_train): with tf.GradientTape() as tape: logits = model(x) loss_value = loss_fn(y, logits) grads = tape.gradient(loss_value, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables)) # 檢查神經元的偏差值 print(neuron.bias) # 輸出: [0.9] |
最後我們檢查了神經元的偏差值，可以看到它已經從 1.0 調整到了 0.9。
手動設定神經元的偏差值
以下為一個簡單範例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
import tensorflow as tf # 創建一個帶有偏差的神經元 neuron = tf.keras.layers.Dense(units=1, bias_initializer=tf.constant_initializer(1.0)) # 創建模型 model = tf.keras.Sequential([neuron]) # 定義損失函數和優化器 loss_fn = tf.keras.losses.MeanSquaredError() optimizer = tf.keras.optimizers.SGD(learning_rate=0.1) # 訓練模型 for epoch in range(10): # 訓練數據 x_train = [1.0, 2.0, 3.0, 4.0] y_train = [0.0, 0.0, 0.0, 0.0] # 將訓練數據放入模型 for x, y in zip(x_train, y_train): with tf.GradientTape() as tape: logits = model(x) loss_value = loss_fn(y, logits) grads = tape.gradient(loss_value, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables)) # 檢查神經元的偏差值 print(neuron.bias) # 輸出: [0.9] # 手動設定神經元的偏差值 neuron.bias.assign([1.0]) # 再次檢查神經元的偏差值 print(neuron.bias) # 輸出: [1.0] |