甚麼是SDS
軟件定義存儲（Software Defined Storage，SDS）是一種存儲技術的方法論，它通過軟件層面的控制和管理來處理存儲資源，使得存儲系統更加靈活、可擴展和易於管理。傳統的存儲系統通常使用專用的硬體設備和控制器來管理數據存儲，而軟件定義存儲採用軟件定義的方法，將存儲處理功能抽象出來，從而使得存儲資源可以根據需要進行分配和管理。
SDS的主要特色
- 抽象化：軟件定義存儲將存儲資源的物理特性與控制功能進行解耦，使得存儲資源的管理和配置可以在軟件層面完成，而不依賴於特定的硬體設備。
- 集中管理：軟件定義存儲可以通過集中式的管理界面來控制和監控存儲系統，這使得管理人員可以更方便地進行配置、擴展和故障排除。
- 彈性擴展：由於軟件定義存儲可以根據需要進行動態配置和管理，因此可以輕鬆地擴展存儲容量和性能，以適應不斷增長的數據需求。
- 自動優化：軟件定義存儲通常具有自我優化的功能，它可以根據數據使用情況和需求來自動調整存儲策略，以提供最佳的性能和效率。
- 開放性：軟件定義存儲通常基於開放標準和API，這使得它可以與多種硬體設備和存儲平台兼容，並且支援多種存儲協議。
SDS的工作原理
借助軟件定義的存儲，應用程序可以動態配置所需的容量、性能和保護的精確組合——不多也不少。SDS 為存儲帶來了服務器虛擬化為計算帶來的簡單性、效率和成本節約。它允許您消除低效的專用硬件，並使用更靈活、透明和自動化的系統。此外，該存儲解決方案可與現有存儲解決方案和雲配合使用。
SDS軟件通過虛擬數據平面對底層存儲進行抽象；這使得虛擬機（和應用程序）成為存儲配置和管理的基本單元。
通過在應用程序和可用資源之間創建靈活的分離，普及的虛擬機 管理程序 可以平衡應用程序所需的所有 IT 資源（計算、內存、存儲和網絡）。
SDS與Persistent Volumes
SDS（軟件定義存儲）和Kubernetes中的Persistent Volumes（持久化存儲卷）是相關的概念，它們都涉及到在容器化環境中對存儲資源的管理。
Kubernetes是一個用於容器化應用程序管理和部署的開源平台，而Persistent Volumes（PV）是Kubernetes中用於持久化存儲的抽象層。PV允許將持久化存儲資源（例如Amazon EBS、Google Persistent Disk、NFS、Ceph等）與Kubernetes集群中的Pod相關聯，從而實現容器應用程序的持久化數據存儲。
Kubernetes的Persistent Volumes（PV）提供了對多種存儲技術的抽象，因此你可以使用多種技術來實現PV。以下是一些常見的PV實現技術：
- 主機路徑（HostPath）：這是一種簡單的PV實現方式，將宿主機上的目錄掛載為PV。但需要注意的是，這種方式只適合單節點集群，而且缺乏高可用性和故障恢復機制。
- NFS（Network File System）：NFS是一種分佈式文件系統，可以在多個節點之間共享文件。你可以使用NFS伺服器提供持久化存儲，並將其掛載為Kubernetes中的PV。
- iSCSI：iSCSI是一種塊存儲協議，它可以通過網絡將存儲設備映射為本地塊設備。你可以使用iSCSI裝置提供持久化存儲，並將其作為PV掛載到Kubernetes中的Pod中。
- Ceph：Ceph是一種分佈式存儲解決方案，它提供對象存儲、塊存儲和文件系統的支持。你可以使用Ceph作為PV提供持久化存儲，這樣可以實現高可用性和可擴展性。
- GlusterFS：GlusterFS是一種分佈式文件系統，可以提供高可用性和可擴展性的存儲。你可以使用GlusterFS作為PV，讓Kubernetes中的Pod使用這種分佈式文件系統。
- 雲端提供商的持久化存儲服務：如果你在公有雲上運行Kubernetes，大多數雲提供商都提供了專門的持久化存儲服務，例如Amazon EBS（Elastic Block Store）或Google Persistent Disk。你可以使用這些服務來實現PV。
SDS則是一種更廣泛的存儲技術，它可以用來管理和處理各種存儲資源，並提供更高級別的抽象和自動化。在Kubernetes中，PV可以使用SDS技術來實現，例如使用Ceph、GlusterFS等SDS解決方案作為Kubernetes Persistent Volumes的後端存儲。
SDS不一定要是物件存儲服務才算。SDS可以涵蓋多種存儲技術，包括塊存儲、文件存儲和物件存儲等。重要的是，SDS是通過軟件進行存儲管理和控制，而不依賴於特定硬體或供應商。
SDS是一種以軟件為基礎的存儲管理方法
SDS（軟件定義存儲）是一種存儲技術的方法論，它通過軟件層面的控制和管理來處理存儲資源，而不是依賴於特定的硬體設備或供應商。這意味著SDS可以在不同的硬體平台上運行，並且可以支援多種存儲技術，如塊存儲、文件存儲和物件存儲等。SDS的目標是提供一個統一的、抽象的存儲管理接口，使得存儲資源的配置、管理和控制可以在軟件層面進行，而不需要直接依賴於特定的硬體或供應商的API。
當談到儲存圖片和影片等數據時，最終這些數據是需要存儲在硬碟上的，而硬碟是物理媒體。SDS並不是指數據直接存在於軟件中，而是指存儲管理和控制的功能在軟件層面進行。
SDS可以使用不同的硬體設備來實現存儲，比如使用傳統硬碟（HDD）、固態硬碟（SSD）、雲端存儲、存儲區域網絡（SAN）等。這些硬體設備提供實際的數據存儲介質，而SDS則通過軟件抽象出這些硬體設備的管理和控制功能。
總的來說，SDS是一種以軟件為基礎的存儲管理方法，它可以在不同的硬體平台上運行，並且可以支援多種存儲技術，但最終數據仍然需要存儲在實際的硬碟或媒體上。
使用SDS來蒐集ML資料的優勢
使用SDS（軟件定義存儲）可以幫助蒐集機器學習（Machine Learning，ML）所需的資料，並且相對於傳統的數據存儲方式，它可能更有利於處理大量數據並提供更好的可擴展性和彈性。
以下是幾個使用SDS來蒐集ML資料的優勢：
- 彈性和可擴展性：SDS可以基於軟件進行存儲管理和控制，這意味著你可以方便地擴展存儲容量，並根據需要增加或減少資料存儲的規模。這對於處理大量數據和快速增長的需求是非常有利的。
- 多種存儲技術支援：SDS可以支援多種存儲技術，包括物件存儲、塊存儲和文件存儲等。這使得你可以根據不同的數據類型和用途，選擇最合適的存儲技術，而不必局限於單一的存儲方式。
- 數據複製和冗余：SDS通常提供數據複製和冗余功能，這可以確保數據的高可用性和持久性。這對於在ML訓練過程中保證數據完整性和可靠性是非常重要的。通常，SDS或存儲系統會提供一些配置選項來控制數據的冗余程度，如副本數量或冗余策略。你可以根據應用的需求，選擇適當的冗余程度，以平衡數據可用性和資源消耗。
- 異地備份：SDS還可以支援異地備份，將數據備份到不同的地理位置。這樣即使出現故障或災害，你的數據仍然可以安全地恢復。
- 快速數據存取：某些SDS解決方案可以提供高速的數據讀取和寫入性能，這對於需要快速存取大量數據的機器學習訓練是非常重要的。