官方網站
可看見現在這個平台所提供的相關工具包括: 圖像生成、影像生成、音樂生成、3D模型生成、文字生成
開源社群
可下載許多人自己生成的模型和相關微調模型，還有許多澀澀的(?)圖片
主要功能 – 圖像生成
根據文本生成圖像
- 描述生成：用戶可以輸入一段文字描述，Stable Diffusion 模型會根據這段描述生成對應的圖像。例如，輸入“日落下的山脈”，模型會生成一幅描繪日落下山脈的圖像。
創意生成
- 藝術創作：藝術家可以使用 Stable Diffusion 生成具有特定風格或主題的圖像，從而激發創意和靈感。
- 概念設計：設計師可以快速生成概念草圖，用於產品設計或廣告創意。
圖像生成使用模型為: SD1.x, SD2.x, SDXL
SDXL 是目前 Stable Diffusion 系列中最新的模型之一。它在 SD2.x 的基礎上進一步提升了圖像的品質和細節，尤其是在處理複雜的場景和人物時表現更加出色。SDXL 還能夠生成更加多樣化的圖像風格，為用戶提供了更多的創作可能性。
主要功能 – 圖像修改和增強
圖像修復
- 缺損修復：模型可以自動填補和修復圖像中缺失或損壞的部分，恢復圖像的完整性。
- 品質增強：提高低解析度圖像的質量，使其更加清晰和細緻。
圖像編輯
- 局部修改：用戶可以指定圖像的某個區域進行修改，例如改變圖像中的顏色、形狀或添加新的元素。
- 風格轉換：將圖像轉換為不同的藝術風格，如將照片變為素描或油畫效果。
技術介紹
要使用Stable Diffusion來做到圖像修復或者是圖像編輯，需要安裝相關ADetailer的外掛，以下為一個範例
https://blog.csdn.net/2401_84250575/article/details/138863838
以Web ui為例，可以安裝ADetailer的擴展套件，就可以讀取相關的模型來修復圖片
主要功能 – 多模態應用
圖像-文本匹配
- 圖像標註：根據圖像生成相應的文本描述，適用於自動標註和圖像檢索。
- 文本生成圖像：根據文本描述生成圖像，用於多模態數據集的構建和應用。
文本-圖像交互
- 文本驅動的圖像編輯：用戶可以通過文本指令對圖像進行特定修改，例如“將天空變成藍色”或“在圖像中添加一棵樹”。
主要功能 – 創意應用
動畫生成
- 動畫創作：通過生成連續的圖像幀來創建動畫效果，適用於動畫製作和電影特效。
- 介紹網頁: https://stability.ai/news/stable-video-diffusion-open-ai-video-model
- GitHub位置: https://github.com/Stability-AI/generative-models
- 一秒25偵模型下載: https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/blob/main/svd_xt.safetensors
遊戲開發
- 遊戲場景生成：根據描述生成遊戲場景，幫助遊戲開發者快速創建豐富的遊戲內容。
- Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model: https://opengvlab.github.io/Diffree/
- SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors: https://daveredrum.github.io/SceneTex/
主要功能 – 科學研究
醫學圖像分析
- 醫學影像生成：根據描述生成醫學影像，輔助醫學研究和診斷。
- 圖像合成：生成合成的醫學圖像，用於訓練和測試醫學影像分析模型。
自然科學模擬
- 氣象模擬：生成氣象圖像，用於天氣預測和氣候研究。
- 地理模擬：根據描述生成地理景觀圖像，幫助地理研究和模擬。