Claire's Blog

Tensorboard介紹 在機器學習中，要改進模型的某些參數，通常需要觀察模型數據以進行衡量。TensorBoard 是用於提供機器學習工作流期間所需測量和呈現的工具。它使您能夠跟踪實驗指標（例如損失和準確率），呈現模型計算圖，將嵌入向量投影到較低維度的空間等。 TensorBoard是TensorFlow的可視化工具，用於可視化和分析機器學習實驗的結果。它提供了一組豐富的可視化面板，可以幫助您理解、調節測試和優化訓練過程中的模型。 主要功能和用途 以下是TensorBoard的一些主要功能和用途： TensorBoard 提供了一種觀察的方式來監視和分析機器學習模型，以了解模型的行為並進行調優。您可以使用 TensorFlow 的相關API（如）將數據寫入TensorBoard日誌文件，然後在命令tf.summary中行中運行 TensorBoard 來查看和分析結果。 如何使用 以下為一個範例程式 接著就可以在所指定的資料夾位置運行tensorboard介面 接著開啟http://localhost:6006就可以看到如下畫面，這個畫面是Scalars，顯示損失和指標在每個時期如何變化 Graphs用以可視化模型。可以看出你的模型是如何建構的，有用到那些方法 Distributions是顯示張量隨時間的分佈。Distributions和Histograms這兩頁很相似，可了解模型權重隨時間的變化，作為判斷是否出現問題的初步衡量標準。 Histograms是使用Ridgeline plot來顯示張量隨時間的分佈，橫軸為epochs訓練的次數，縱軸則為權重和偏差的值 Time-Series與scalars非常相似，都是在評估準確度。然而，一個區別是每次訓練迭代而不是每個時期對目標指標的觀察。

將資料切分 在數據科學中，訓練數據和測試數據扮演著兩個主要的角色。評估已構建模型的性能與訓練和構建模型同樣重要，因為未經評估性能的模型可能會產生錯誤的預測並導致嚴重的並發症。為了防止這種情況發生並確保預測的準確性，您必須足夠好地測試和驗證模型。 為了構建和評估機器學習模型的性能，我們通常將數據集分成兩個不同的數據集。這兩個數據集是訓練數據和測試數據。 訓練數據 測試數據 用於構建模型 用於評估構建的模型 分配更大的數據部分 分配較小的數據部分 可進一步劃分以進行驗證 不會進一步分割 什麼是驗證數據 驗證數據是從訓練數據中分離出來的子數據集，用於在訓練過程中驗證模型。來自驗證過程的信息幫助我們改變模型的參數、分類器以獲得更好的結果。所以基本上，驗證數據可以幫助我們優化模型。  使用 Scikit-learn 的 train_test_split來切割數據 使用下面這段程式碼可以將訓練及分割成訓練及驗證集 使用測試資料作驗證 下面這段程式可以使用X_test、y_test來使用model做測試，並且可以用accuracy_score來取得準確率，並將準確率存入一個陣列裡 若是想要取得錯誤的資料集，則可以用np.where來取得與正確答案不一樣的資料，並將錯誤的資料存入incorrect陣列裡面 完整範例 下面的範例為結合K-Fold概念，將資料及分成五份，並做五次的訓練以判別模型的訓練狀況是否有過擬合的狀況。其中會每次會取其4分來做訓練、1份做測試，再將訓練集中的1/10拆做驗證集。最後使用matplotlib.pyplot來顯示這五次之中，測試集中錯誤結果的圖片 參考資料

一般所使用的方式 – Holdout method 這是一種非常基本且簡單的方法，我們將整個數據集分為兩部分，即訓練數據和測試數據。顧名思義，我們在訓練數據上訓練模型，然後在測試集上進行評估。通常，訓練數據的大小設置為測試數據的兩倍以上，因此數據按70:30或80:20的比例進行分割。 在這種方法中，數據在分割之前首先被隨機洗牌。由於模型是在不同的數據點組合上訓練的，每次訓練時模型都會給出不同的結果，這可能是不穩定的原因。此外，我們永遠無法保證我們選擇的訓練集能夠代表整個數據集。 此外，當我們的數據集不是太大時，測試數據很可能包含一些我們丟失的重要信息，因為我們沒有在測試集上訓練模型。範例程式如下: 改善方法 – k-Fold Cross-Validation K 折交叉驗證是改進的一種方法。這種方法保證了我們模型的分數不依賴於我們選擇訓練集和測試集的方式。將數據集分為 k 個子集，並將保留方法重複 k 次。讓我們分步驟完成這個過程： 因為它確保來自原始數據集的每個觀察結果都有機會出現在訓練和測試集中，所以與其他方法相比，這種方法通常會產生偏差較小的模型。如果我們的輸入數據有限，這是最好的方法之一。  這種方法的缺點是訓練算法必須從頭開始重新運行 k 次，這意味著進行評估需要 k 倍的計算量。 分層k-Fold – Stratified K Fold Cross Validation 在分類問題上使用 K Fold 可能會很棘手。由於我們隨機打亂數據，然後將其劃分為折疊，因此我們可能會得到高度不平衡的折疊，這可能會導致我們的訓練出現偏差。例如，讓我們以某種方式得到一個折疊，其中大多數屬於一個類（例如正類），而只有少數屬於負類。這肯定會破壞我們的訓練，為了避免這種情況，我們使用分層進行分層折疊。 分層是重新排列數據的過程，以確保每次折疊都能很好地代表整體。例如，在每個類包含 50% 數據的二元分類問題中，最好對數據進行排列，使得在每個折疊中，每個類包含大約一半的實例。 下面這張圖，是在分類問題上使用K-Fold折疊的方式，會發現因為不同分類隨機分組導致每個分組的數量不一，而破壞訓練的狀況 資料狀況: 共三種資料，每一種70張，共210張，訓練集168張，測試集42張…

遇到的錯誤訊息 2023-06-14 16:32:39.652288: W tensorflow/core/data/root_dataset.cc:167] Optimization loop failed: Cancelled: Operation was cancelled 這個錯誤訊息代表TensorFlow 在優化過程中遇到了問題，並且操作被取消了。當操作被取消時，TensorFlow 無法完成所需的計算任務，因此無法產生期望的結果。具體來說，如果你在使用 TensorFlow 的 CPU 模式下運行一個優化循環，並且該循環被取消，以下情況可能發生： 為什麼會出現此錯誤 大部分的狀況是因為資源不足，導致運算被中斷 觀察電腦CPU與MEMORY使用狀況 要解決此問題，首先要先觀察是哪一部分出了問題，就需要在程式內去監控資源的使用。請參考此篇教學: How to get current CPU and RAM usage in Python 解決 – 若是使用太多記憶體 在Tensorflow裡面有一篇討論串，滿多人都會遇到此問題，其中一位大大建議在GPU上提高可使用的內存，可解決此問題 討論串: Optimization loop…