將資料切分 在數據科學中，訓練數據和測試數據扮演著兩個主要的角色。評估已構建模型的性能與訓練和構建模型同樣重要，因為未經評估性能的模型可能會產生錯誤的預測並導致嚴重的並發症。為了防止這種情況發生並確保預測的準確性，您必須足夠好地測試和驗證模型。 為了構建和評估機器學習模型的性能，我們通常將數據集分成兩個不同的數據集。這兩個數據集是訓練數據和測試數據。 訓練數據 測試數據 用於構建模型 用於評估構建的模型 分配更大的數據部分 分配較小的數據部分 可進一步劃分以進行驗證 不會進一步分割 什麼是驗證數據 驗證數據是從訓練數據中分離出來的子數據集，用於在訓練過程中驗證模型。來自驗證過程的信息幫助我們改變模型的參數、分類器以獲得更好的結果。所以基本上，驗證數據可以幫助我們優化模型。  使用 Scikit-learn 的 train_test_split來切割數據 使用下面這段程式碼可以將訓練及分割成訓練及驗證集 使用測試資料作驗證 下面這段程式可以使用X_test、y_test來使用model做測試，並且可以用accuracy_score來取得準確率，並將準確率存入一個陣列裡 若是想要取得錯誤的資料集，則可以用np.where來取得與正確答案不一樣的資料，並將錯誤的資料存入incorrect陣列裡面 完整範例 下面的範例為結合K-Fold概念，將資料及分成五份，並做五次的訓練以判別模型的訓練狀況是否有過擬合的狀況。其中會每次會取其4分來做訓練、1份做測試，再將訓練集中的1/10拆做驗證集。最後使用matplotlib.pyplot來顯示這五次之中，測試集中錯誤結果的圖片 參考資料

一般所使用的方式 – Holdout method 這是一種非常基本且簡單的方法，我們將整個數據集分為兩部分，即訓練數據和測試數據。顧名思義，我們在訓練數據上訓練模型，然後在測試集上進行評估。通常，訓練數據的大小設置為測試數據的兩倍以上，因此數據按70:30或80:20的比例進行分割。 在這種方法中，數據在分割之前首先被隨機洗牌。由於模型是在不同的數據點組合上訓練的，每次訓練時模型都會給出不同的結果，這可能是不穩定的原因。此外，我們永遠無法保證我們選擇的訓練集能夠代表整個數據集。 此外，當我們的數據集不是太大時，測試數據很可能包含一些我們丟失的重要信息，因為我們沒有在測試集上訓練模型。範例程式如下: 改善方法 – k-Fold Cross-Validation K 折交叉驗證是改進的一種方法。這種方法保證了我們模型的分數不依賴於我們選擇訓練集和測試集的方式。將數據集分為 k 個子集，並將保留方法重複 k 次。讓我們分步驟完成這個過程： 因為它確保來自原始數據集的每個觀察結果都有機會出現在訓練和測試集中，所以與其他方法相比，這種方法通常會產生偏差較小的模型。如果我們的輸入數據有限，這是最好的方法之一。  這種方法的缺點是訓練算法必須從頭開始重新運行 k 次，這意味著進行評估需要 k 倍的計算量。 分層k-Fold –…

遇到的錯誤訊息 2023-06-14 16:32:39.652288: W tensorflow/core/data/root_dataset.cc:167] Optimization loop failed: Cancelled: Operation was cancelled 這個錯誤訊息代表TensorFlow 在優化過程中遇到了問題，並且操作被取消了。當操作被取消時，TensorFlow 無法完成所需的計算任務，因此無法產生期望的結果。具體來說，如果你在使用 TensorFlow 的 CPU 模式下運行一個優化循環，並且該循環被取消，以下情況可能發生： 為什麼會出現此錯誤 大部分的狀況是因為資源不足，導致運算被中斷 觀察電腦CPU與MEMORY使用狀況 要解決此問題，首先要先觀察是哪一部分出了問題，就需要在程式內去監控資源的使用。請參考此篇教學: How to…