Claire's Blog
I'm a mother of two precious kids and a professional programmer.
Claire Chang
-
如何縮小Tensorflow運算模型時使用的記憶體大小
使用剪枝法 剪枝是一種常用的方法，用於縮小深度學習模型的大小。在剪枝過程中，可以刪除模型中不重要的權重，以縮小模型的大小。 以下是使用 TensorFlow 2.x 的簡單範例，說明如何在深度學習模型中進行剪枝： 訓練過程中使用正則化 正則化是一種常用的方法，用於防止過擬合，並縮小模型的大小。在 TensorFlow 中，您可以使用 tf.keras.regularizers 中的正則化函數，如 tf.keras.regularizers.l1 或 tf.keras.regularizers.l2，在網絡層中使用正則化。 使用較小的資料集進行訓練 如果資料集較大，則模型也會較大。因此，可以使用較小的資料集來訓練模型，以縮小模型的大小。 使用較少的運算計算。您可以使用較少的運算計算來縮小模型的大小。 例如，可以使用 1×1 卷積層來替代全卷積層預設值的3×3，或使用矩陣乘法來代替多重迴圈。 以下是使用 TensorFlow 2.x 的簡單範例，說明如何使用…
-
tensorflow和keras版本之間不兼容的錯誤
更多資訊請見: https://stackoverflow.com/questions/72255562/cannot-import-name-dtensor-from-tensorflow-compat-v2-experimental 編譯器的錯誤訊息 ImportError: cannot import name ‘dtensor’ from ‘tensorflow.compat.v2.experimental’ (C:\Users\user\.conda\envs\py392\lib\site-packages\tensorflow\_api\v2\compat\v2\experimental\__init__.py) stackoverflow提出的解決方法 tensorflow這可能是由於您和您的keras版本之間不兼容造成的。特別是我在tensorflow和keras中看到了這一點tensorflow==2.6.0，keras==2.9.0但如果其他版本也會導致這種情況，我也不會感到驚訝。 通過以下方式更新您的tensorflow版本： 或通過以下方式降級您的keras版本： 我的方法 重新建立一個新的tensorflow環境 參考這篇文章: 使用conda管理python版本和函式庫 用一個新的函式庫來跑tensorflow 並下載正確的套件，在最下方有一個列表: https://www.tensorflow.org/install/pip?hl=zh-tw#package-location conda create -n…
-
使用GPU跑tensorflow的除錯流程
最簡單的範例 這邊的程式碼是官網教學裡的一個簡單範例: https://www.tensorflow.org/tutorials/keras/classification?hl=zh-tw 使用GPU建模 經過了前三章的教學之後，應該已經設定好了Tensorflow的GPU環境 1. 在python裡面使用GPU 1 – 選擇適合的GPU 2. 在python裡面使用GPU 2 – 安裝正確的套件 3. 在python裡面使用GPU 3 – 開發GPU程式 接著就要嘗試使用GPU來建模，並評估和原本的效能有多大差異，現在就可以將上面的程式碼COPY下來，然後在有GPU的環境嚇跑看看 TensorFlow版本過舊的錯誤 AttributeError: module ‘tensorflow.python.util.dispatch’…
-
讓OpenCV支持GPU
OpenCV CUDA https://opencv.org/platforms/cuda/ 現代 GPU 加速器已經變得強大且功能強大，足以執行通用計算 (GPGPU)。這是一個發展非常迅速的領域，引起了開發計算密集型應用程序的科學家、研究人員和工程師的極大興趣。儘管在 GPU 上重新實現算法存在困難，但許多人這樣做是為了檢查它們的速度。為了支持這些努力，許多高級語言和工具已經可用，例如 CUDA、OpenCL、C++ AMP、調試器、分析器等。 計算機視覺的重要組成部分是圖像處理，這是圖形加速器最初設計的領域。其他部分也假定大規模並行計算並且通常自然映射到 GPU 架構。因此，實現所有這些優勢並在圖形處理器上加速 OpenCV 具有挑戰性，但非常有益。 目標 在 GPU 上為開發者提供方便的計算機視覺框架，與當前 CPU 功能保持概念上的一致性。 使用 GPU 實現最佳性能（針對現代架構調整的高效內核、優化的數據流，如異步執行、複製重疊、零複製）…
-
在python裡面使用GPU 3 – 開發GPU程式
GPU運算與CPU運算的不同 下面是GPU 和CPU 之間的一些主要區別： 運算單元：GPU 通常具有數百甚至數千個運算單元，而CPU 通常只有幾十個運算單元。 並行運算能力：由於GPU 具有更多的運算單元，它能夠同時處理更多的數據，因此在並行運算方面具有優勢。 計算能力：在單位時間內，GPU 的計算能力通常要高於CPU。 功耗：由於GPU 具有更多的運算單元，它的功耗通常比CPU 高。 用途：GPU 專門用於圖形處理，通常用於遊戲、視頻播放和圖形設計等任務。而CPU 則是計算機的中央處理器，負責處理各種計算任務。 指定使用的GPU 在程式中使用 GPU 時，需要在執行模型訓練或推理時將運算放在 GPU 上。您可以使用 TensorFlow 的…
-
機器學習所需的前置知識
前置知識介紹 學習機器學習的前置知識包括： 數學基礎：學習機器學習需要具備良好的數學基礎，尤其是線性代數、微積分和概率論的基礎知識。 編程基礎：學習機器學習需要具備編程能力，至少應該熟悉一種編程語言，如 Python、C++ 或 Java。 算法基礎：了解常用的算法和數據結構，如排序算法、搜索算法、哈希表和二叉樹，將有助於學習機器學習中的算法。 機器學習基礎：了解機器學習的基本概念，如訓練集、測試集、模型和過擬合，有助於加深對機器學習的理解。 心理學基礎：了解心理學基礎知識，如信息加工理論和注意力機制，可以幫助我們更好地理解機器學習的應用。 當然，機器學習是一門涉及多個領域的學科，學習時可能還需要具備其他領域的知識，如統計學、計算機科學和人工智能等。 此外，學習機器學習時還需要具備一定的學習能力和探究精神，能夠獨立思考問題並尋找解決方案。建議您先了解機器學習的基本概念，並通過實踐來加深理解。可以嘗試解決一些練手的機器學習問題，或者參加一些在線的機器學習課程或比賽，來提升自己的機器學習能力。 微積分 微積分是計算數學的一個分支，主要研究連續的函數的求積、導數、極限的概念。在機器學習中，微積分的概念有助於我們理解和掌握梯度下降 (gradient descent) 算法，以及訓練神經網路的過程。 線性代數 線性代數是計算數學的一個分支，主要研究向量和矩陣的概念。在機器學習中，線性代數的概念有助於我們理解和掌握神經網路的運算過程，以及從數據中學習到有用信息的方法。 在線性代數中，還有許多其他概念，例如： 線性相關：多個向量是線性相關的，當且僅當它們可以由其他向量的線性組合表示。 基：向量空間的基是一组向量，它们的线性组合可以表示向量空间中的任何向量。 秩：向量空間的秩是指最多可以由多少个向量的线性无关组合表示出来。 線性無關：多個向量是線性無關的，當且僅當它們不能由其他向量的線性組合表示。 內積：向量的內積是指兩個向量的點積，可以用來度量兩個向量之間的夾角。…
-
在python裡面使用GPU 2 – 安裝正確的套件
前置作業 使用 GPU 來加速 Python 程式的運算需要: 電腦必須要有適合的 GPU 及相關驅動程式。 必須安裝支援 GPU 的 Python 程式庫，例如 TensorFlow、PyTorch 或 CuPy。 在使用這些程式庫時將運算指定給 GPU 執行 安裝Tensorflow GPU版本的函式庫 在上面幾步驟都安裝好之後，要確認自己所使用的函式庫是支援GPU的，一般來說，所有的函式庫都會分為【支持GPU版本】或者【針對CPU版本】。 所以要先確定自己所下載的函式庫是支持GPU的。如果你的環境之前已經安裝過CPU版本的該函式庫，建議新增另一個虛擬環境，讓新專案的函式庫能夠完全與CPU版本的程式分開 這邊是使用pip安裝tensorflow套件的流程:https://www.tensorflow.org/install/pip?hl=zh-tw…
-
在python裡面使用GPU 1 – 選擇適合的GPU
選擇適用的GPU 在python裡面要使用GPU做運算，需要去呼叫GPU操作的方法來操作目標對象。 所以，能不能支持GPU運算，和套件本身有沒有開發針對該GPU操作的模組版本，是最為相關的。 對於python常用的模組，最廣泛有提供GPU操作版本的是針對nVidia裡的CUDA 深度神經網絡 (cuDNN) – cuDNN庫的支持。 nVidia cuDNN介紹 以下為官網的介紹 NVIDIA CUDA® 深度神經網絡庫 (cuDNN) 是一個 GPU 加速的深度神經網絡原語庫。cuDNN 為標準例程提供高度調整的實現，例如前向和反向卷積、池化、歸一化和激活層。 全球的深度學習研究人員和框架開發人員都依賴 cuDNN 來實現高性能 GPU 加速。它使他們能夠專注於訓練神經網絡和開發軟件應用程序，而不是將時間花在低級 GPU…
-
使用conda管理python版本和函式庫
在CMD裡面使用conda 指出 Windows 命令提示符無法識別 conda 命令。這通常是因為您的系統沒有安裝 Anaconda 或 Miniconda 環境管理器，或者沒有將 Anaconda 或 Miniconda 的安裝路徑添加到系統的環境變量中。 將 Anaconda 的安裝路徑添加到系統的環境變量中 如果您的系統上沒有安裝，請前往 Anaconda 網站下載並安裝最新版本：https://www.anaconda.com/products/individual 錯誤訊息:’conda’ is not recognized as…
-
了解python載入模組的位置
載入模組方式 一般來說，我們在專案裡面會使用import來載入現有模組 import cv2 了解會從哪些路徑載入-在command line內 1.取得global的site-packages路徑 python –m site 2.取得該使用者的library路徑(per-user) python -m site –user-site 了解會從哪些路徑載入-在Python程式碼內 那麼，這個cv2的預設位置在哪邊呢?會從哪裡載入呢? 想要了解這個問題，可以在py檔案裏面使用下列程式碼來印出會再入的library位置 import sys from os.path import dirname print(sys.path)…
Search
About Me
17年資歷女工程師，專精於動畫、影像辨識以及即時串流程式開發。經常組織活動，邀請優秀的女性分享她們的技術專長，並在眾多場合分享自己的技術知識，也活躍於非營利組織，辦理活動來支持特殊兒及其家庭。期待用技術改變世界。
如果你認同我或想支持我的努力，歡迎請我喝一杯咖啡！讓我更有動力分享知識！
