分類: AI 職場神器

模型介紹頁面

https://humanaigc.github.io/animate-anyone

Animate Anyone 是一個工具，可以將靜態圖片和骨架動畫結合起來，生成動態影片。它使用先進的 AI 技術，保留圖片細節並保持動畫的連貫性。這個工具適合用於人類角色、動漫和時尚視頻等的動畫製作。

模型概念

1. 使用 Pose Guider 編碼姿勢序列並融合多幀噪音。
2. 使用 Denoising UNet 去噪並生成視頻。
3. Denoising UNet 包含空間、交叉和時間注意力模塊。
4. 參考圖像的詳細特徵通過 ReferenceNet 提取，語義特徵通過 CLIP 圖像編碼器提取。
5. 最後，VAE 解碼器將結果解碼為視頻片段。

GitHub位置

https://github.com/HumanAIGC/AnimateAnyone

不過我們可以看到現在這個Github上只有介紹而已，但是他們說因為他們正在把原始碼改得更易讀，所以仍需一些時間才能夠把開源代碼上傳上來，就讓我們持續等待吧~

3D 角色動畫服務的線上平台

可以在此試用你的3D模型mixamo: https://www.mixamo.com/

Mixamo 是一個提供自動 3D 角色動畫服務的線上平台。它讓使用者能夠選擇並自定義 3D 角色，並應用各種預設的動畫。該平台支持從現有的 3D 模型中生成動畫，並提供動畫調整功能，以滿足不同的需求。Mixamo 對於遊戲開發者、動畫製作人和其他 3D 創作者非常實用，能夠顯著加快製作流程。

Mixamo 的主要功能

• 龐大的動作資料庫： Mixamo 提供了數千種預製的動畫，涵蓋了各種角色、動作和風格。
• 自動套用： 你只需上傳你的3D模型，選擇想要的動畫，Mixamo就會自動將動畫套用到你的模型上，並進行調整，使其符合模型的比例和骨架結構。
• 客製化： 你可以對動畫進行調整，例如改變動畫的速度、調整角色的姿勢等，以達到你想要的效果。
• 匯出多種格式： Mixamo 支援多種3D軟體常用的檔案格式，方便你將動畫匯出到你的專案中。
• 社群功能： Mixamo 有一个活躍的社群，你可以分享你的作品、與其他使用者交流，並獲得啟發。

Mixamo 的優勢

• 節省時間： 相較於傳統的動畫製作方式，Mixamo 可以大幅縮短動畫製作的時間。
• 降低成本： 你不需要雇用專業的動畫師，就能製作出高品質的動畫。
• 易於使用： 即使你不是動畫專業人士，也能輕鬆上手。
• 靈活性： Mixamo 提供了高度的客製化功能，讓你能夠創造出獨特的動畫。

Mixamo 的應用場景

• 遊戲開發： 為遊戲角色製作各種動作，如走路、跑步、跳躍、戰鬥等。
• 虛擬實境/增強現實： 為虛擬角色製作動畫，使其更生動。
• 動畫製作： 快速製作短片、動畫廣告等。
• 電影特效： 為電影中的角色製作動作捕捉動畫。

SF3D: https://stable-fast-3d.github.io

SF3D 是一個快速生成3D網格模型的模型，它可以在不到一秒鐘的時間內從單一圖片輸出一個帶有UV展開和材質的3D模型。這個模型基於大型重建模型（LRM），專門針對網格生成進行訓練，並且包含快速UV展開技術和去光照步驟，從而提升重建模型的視覺質量，使其在新的光照條件下也能使用。

Github網站

詳情請參閱：GitHub – Stability-AI/stable-fast-3d

Stable Fast 3D模型基於 TripoSR，但進行了改進，專注於生成無瑕疵的網格和帶有UV展開的紋理。SF3D 可以快速進行推理，並且生成的3D模型可以輕鬆整合到遊戲中。安裝環境需要 Python >= 3.8 和 CUDA，並且需要安裝 PyTorch。支持手動推理和本地 Gradio 應用的運行。

要安裝 SF3D，請按照以下步驟操作：

1. 確保環境：
   • Python 版本 >= 3.8
   • 有 CUDA
   • 安裝 PyTorch，確保 CUDA 版本匹配 PyTorch 安裝指南
   • 更新 setuptools：pip install -U setuptools==69.5.1
2. 安裝需求：
   • 執行：pip install -r requirements.txt
   • 若要使用 Gradio demo，則執行：pip install -r requirements-demo.txt
3. 手動推論：
   • 執行：python run.py demo_files/examples/chair1.png --output-dir output/
4. 本地 Gradio App：
   • 執行：python gradio_app.py

線上demo

https://huggingface.co/spaces/stabilityai/stable-fast-3d

我拿這張圖做為輸入，可以很不錯的生成3D模型

Meshy – 線上圖片轉3D模型fbx檔案

網站: https://www.meshy.ai/

Meshy 是您的 3D 生成式 AI 工具箱，用於輕鬆從文本或圖像創建 3D 資產，從而加速您的 3D 工作流程。使用 Meshy，您可以在幾分鐘內創建高品質的紋理和 3D 模型。

Meshy的功能

Meshy是一個創新的 3D 模型生成平台，提供以下強大的功能

文字轉紋理 (Text-to-Texture)：

• 透過簡單的文字描述，快速生成符合要求的紋理。
• 例如：輸入「磨損的木頭紋理」，Meshy 能夠在短時間內生成逼真的木頭紋理。

圖片轉紋理 (Image-to-Texture)：

• 將概念圖或參考圖片轉換成可套用的 3D 模型紋理。
• 這對於藝術家和設計師來說，能大幅提升工作效率。

文字轉 3D 模型 (Text-to-3D)：

• 僅需一段文字描述，就能生成完整的 3D 模型。
• 即使沒有 3D 建模經驗，也能輕鬆創造出想要的模型。

圖片轉 3D 模型 (Image-to-3D)：

• 這對於將 2D 概念快速轉換成 3D 模型非常有用。
• 從單張圖片中提取 3D 資訊，生成具體的 3D 模型。

探索社區資源

社區資源: https://docs.meshy.ai/web-app-interface#explore-community-resources

嘗試使用圖片產生3D模型

操作網址: https://www.meshy.ai/workspace/image-to-3d

操作非常的簡單，可直接按最右邊的下載來下載fbx檔案

Easy Diffusion

下載位置: https://easydiffusion.github.io/

特色：

• 簡易操作： 介面直觀，即使是新手也能快速上手。
• 模型豐富： 支援多種模型，可根據需求選擇。
• 擴充性強： 可透過外掛擴展功能。

優點：

• 學習曲線平緩，適合初學者。
• 功能齊全，能滿足大部分的繪圖需求。

缺點：

相較於其他工具，客製化選項可能較少。

ComfyUI

下載位置: https://github.com/comfyanonymous/ComfyUI

特色：

• 高度客製化： 提供極高的自由度，可打造專屬的工作流程。
• 功能強大： 除了繪圖，還能進行影像處理、動畫製作等。
• 社群活躍： 有龐大的社群提供支援和資源。

優點：

• 適合有經驗的使用者，可實現複雜的創作。
• 功能多樣，能滿足專業人士的需求。

缺點：

• 配置較為複雜。
• 學習曲線較陡峭，需要花時間熟悉。

Stable Diffusion web UI

下載位置: https://github.com/AUTOMATIC1111/stable-diffusion-webui

特色：

• 基於瀏覽器： 不需安裝軟體，直接在瀏覽器中使用。
• 社群豐富： 有大量的模型和腳本可供選擇。
• 擴充性強： 可透過擴充套件增加功能。

優點：

• 使用門檻低，適合初學者。
• 功能豐富，能滿足多種需求。

缺點：

相較於本地端軟體，速度可能較慢。

安裝指南

最終我選擇Stable Diffusion web UI，因為教學文章最多