LoRA（Low-Rank Adaptation)是什麼 LoRA是一種有效的參數微調技術，可幫助改善大型語言模型在特定任務上的效能表現，並且具有較低的運算和儲存成本。它是一種用於在大型語言模型（LLM）上進行參數微調的技術。 它旨在透過降低模型參數的秩（rank）來減少模型的複雜度，從而提高模型的泛化能力和適應性。 在傳統的參數微調過程中，常常會遇到過擬合的問題，特別是當訓練資料較少或訓練資料與目標任務不符時。 LoRA透過引入一個低秩的參數矩陣，將原始的高維參數矩陣分解成兩個低秩矩陣的乘積，從而降低模型的複雜度。 這種降維的方式可以有效地減少模型的參數量，減緩過度擬合的情況，並提高模型的泛化能力。 LoRA的主要優點 LoRA流程說明 運作原理 在LoRA中，一組新參數同時加入了網路WA和中WB。這些網路利用低秩權重向量，其向量的維度表示為dxr和rxd。在這裡，「d」代表原始凍結網路參數向量的維度，而「r」表示所選的低秩或更低維度。值得注意的是，「r」的值越小，模型訓練過程就越加速和簡化。確定適當的「r」值是LoRA中的關鍵決策。選擇較低的值會導致更快且更具成本效益的模型訓練，但可能不會產生最佳結果。相反，選擇較高的「r」值會增加訓練時間和成本，但會增強模型處理更複雜任務的能力。 LoRA的運作方式是，首先需要一個預先訓練的LLM，並凍結其大部分參數。然後，將這些凍結的預訓練模型權重與可訓練的秩分解矩陣一起注入到變壓器的每一層中。這樣做有助於精細化模型，特別是在低資源硬體上調整模型。 從上表可以看出，LoRA 方法的結果與經典的微調方法相當，可以用更少的時間和資源獲得或多或少相同的結果，並且有更快的執行時間和更短的訓練時間，真是太棒了！ 結論 更多資訊請見 LoRA: Low-Rank Adaptation of Large Language Models:

檢索增強生成（RAG）的工作流程 從使用者查詢開始，透過向量資料庫檢索，到填入提示，最終形成回答的整個過程。 RETA-LLM框架可以看作是實現RAG目標的一種具體實現方式，它提供了一套模組化的工具和方法來將外部知識整合到語言模型中，以提升其產生答案的能力。 RETA-LLM Framework 研究論文: https://arxiv.org/pdf/2306.05212v1 過去通用的LLM增強工具包（如LangChain）與RETA-LLM有所不同，RETA-LLM專注於檢索增強LLMs，並提供更多的插件模組。 檢索增強LLMs使用兩個模組的檢索和生成策略： 除了這兩個基本模組外，RETA-LLM還提供了三個可選模組： 這些可選模組可以使IR系統和LLMs之間的交互更加有效和順暢。RETA-LLM中LLMs和IR系統之間的解綁更加徹底，這使得搜索引擎和LLMs的定制更加方便。 RETA-LLM的框架圖 RETA-LLM的工作流程如下： 請注意，LLMs的所有輸入都包含在指示或提示中。 如圖1所示，在RETA-LLM中完全解開了IR系統和LLMs之間的連結。 我們RETA-LLM中的這種分離設計使用戶可以自訂自己的個人搜尋引擎和LLMs。 知識檢索的過程 RAG的挑戰

明確具體的提問 以下為一個範例 In-Context Learning和Chain-of-Thought Tree-of-Thoughts思維樹 思考樹（ToT）是一種透過將複雜問題分解為更易於解決的小問題，為LLM推理提供了更結構化的提示框架。 與在鏈中推理的CoT不同，ToT以樹的形式組織其解決問題的策略。每個節點都被稱為“思維”，是一個連貫的語言序列，是通往最終答案的一步。 透過將問題劃分為離散的「思想」單元——從填字遊戲中的一系列簡短單字到數學方程式的一個組成部分——ToT確保問題的每個階段都得到系統的解決。 在「oracle模式」下，ToT的表現比CoT還要好

基於神經網路的語言模型 基於神經網路的語言模型是一種利用深度學習技術，特別是透過循環神經網絡（RNN）或注意力機制（Transformer）的模型，來處理自然語言文本並生成下一個詞彙的模型。相較於傳統的方法，這種模型具有以下特點： 依據用戶的指示，LLMs可以執行各種從所未見的新任務，甚至不需要任何樣本、範例。 T5 (Text-to-Text Transfer Transformer) 模型 所有自然語言處理的任務，都可以化為序列對序列的生成任務 缺點包括： LLM的演化歷史 大型語言模型具有以下特別能力： 微調過程 微調過程如下： 此圖表顯示了微調過程的各個步驟 Dual View 是一種 上下文學習 技術，允許模型考慮輸入句子和查詢句子的上下文。它通過向模型提供兩個視圖來實現：

Phi-2 模型介紹 官方介紹: https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ Phi-2 是一個擁有27 億個參數的 Transformer。它使用與Phi-1.5相同的資料來源進行訓練，並使用由各種 NLP 合成文字和過濾網站組成的新資料來源進行了增強（出於安全性和教育價值）。當根據測試常識、語言理解和邏輯推理的基準進行評估時，Phi-2 在參數少於 130 億的模型中展示了近乎最先進的性能。 Phi-3模型介紹 官方介紹: https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/ Phi-3-Mini-128K-Instruct 是一個擁有 38 億參數的輕量級最先進的開放模型，使用 Phi-3 資料集進行訓練。該數據集包括合成數據和經過過濾的公開網站數據，重點是高品質和推理密集屬性。 在初始訓練後，該模型經歷了訓練後過程，其中包括監督微調和直接偏好優化，以增強其遵循指令和遵守安全措施的能力。當根據測試常識、語言理解、數學、編碼、長期上下文和邏輯推理的基準進行評估時，Phi-3 Mini-128K-Instruct 在模型中展示了強大且最先進的性能130…

使用工具 – FancyAI FancyAI網址: https://www.fancyai.co/ 可輕鬆使用GPT大語言模型知識庫，介面化匯入文件(PDF, CSV, TXT)或網址，讓FANCY AI迅速掌握您的知識進行問答。只需30秒，即可與LINE官方帳號整合，建立分享知識Bot連結。更有視覺化的工作流程編排和對話紀錄功能！ FANCY AI 能力 步驟一、創建OpenAI開發者使用的密鑰 首先要去你的OpenAI開發者平台，創建你的API Keys: https://platform.openai.com/api-keys。這樣其他應用程式才可以呼叫你的OpenAI帳號下的API(然後扣你的錢) 接著就是要付款給OpenAI，點此付款: https://platform.openai.com/account/billing/overview。單次可購買$5~$95美金(也就是最低約150左右) OpenAI的API使用需要付費，價格資訊如下: https://openai.com/pricing 由上圖可知道，OpenAI的API計費單位為Token，下面會解釋甚麼叫做Token，也可以線上去測試某段文字的Token數量是多少，可以更精準地了解可能的花費。 可選擇模型的比較 甚麼是Token 在 API…

Segment Anything介紹 論文網址: https://arxiv.org/pdf/2304.02643.pdf GitHub地址: https://github.com/facebookresearch/segment-anything 這份內容介紹了「Segment Anything」（SA）計畫，它包括了一個新的圖像分割任務、模型和數據集。使用高效的模型，在數據收集過程中建立了迄今為止最大的分割數據集，擁有超過10億個遮罩和1100萬張的圖像。這個模型設計和訓練成可提示，因此它可以進行zero-shot轉移到一系列任務，通過提示工程(prompt)實現。模型的zero-shot性能印象深刻，通常與或優於以前的完全監督結果競爭。他們公開了「Segment Anything Model」（SAM）和相應的數據集（SA-1B），以促進計算機視覺基礎模型的研究。 SAM模型由圖像編碼器、提示編碼器和遮罩解碼器三個組件組成，旨在實現高效運行和實時互動提示。數據引擎包括三個階段，從手動標註到半自動標註，最後實現完全自動生成遮罩。最終數據集SA-1B包括1100萬張高分辨率圖像和10億多個高質量分割遮罩，可供未來計算機視覺基礎模型的研究使用。該數據集的質量經過詳細分析，結果顯示自動生成的遮罩質量很高。 此外，文中還提到了有關模型效能、數據集特性以及公平性考這份內容介紹了「Segment Anything」（SA）計畫，它包括了一個新的圖像分割任務、模型和數據集。使用高效的模型，在數據收集過程中建立了迄今為止最大的分割數據集，擁有超過10億個遮罩和1100萬張許可和隱私尊重的圖像。這個模型設計和訓練成可提示，因此它可以進行零-shot轉移到一系列任務，通過提示工程實現。模型的零-shot性能印象深刻，通常與或優於以前的完全監督結果競爭。他們釋放了「Segment Anything Model」（SAM）和相應的數據集（SA-1B），以促進計算機視覺基礎模型的研究。 此外，文中還提到了有關模型效能、數據集特性以及公平性考慮的討論。該計畫的目標是促進基礎模型的發展，以應對圖像分割等廣泛的計算機視覺問題。整體來說，這個計畫提供了一個重要的資源，用於研究和開發計算機視覺基礎模型。 Segment Anything做了甚麼 1. 啟示來源: 2. 定義分割任務: 3. 預訓練策略: 4.…

官方GitHub: https://github.com/danielgatis/rembg/tree/main 安裝方式 CPU support GPU support 首先要去安裝onnxruntime-gpu，接著 使用範例 下面為一個讀取攝影機的簡單去背使用範例 Stable Diffusion WebUI Rembg Stable Diffusion WebUI所使用的去背功能也是這個唷! 相關介紹文章: https://zhuanlan.zhihu.com/p/648234420 可以參考WebUI的參數去尋找相關程式碼可設定的部分，例如Erode size、Foreground threshold、Background threshold 模型去背測試 原始影像如下圖 模型列表…

Image Segmentation介紹 影像分割（Image Segmentation）是電腦視覺中的一個基本任務，目的是將數字影像劃分成多個片段（或稱為「超像素」），使得具有相似性質的像素群組成同一片段。影像分割的目的是簡化或改變影像的表示形式，使其更容易被分析。以下是關於影像分割的詳細介紹： 影像分割作為電腦視覺中的一個核心任務，在許多應用中都扮演著重要的角色，且隨著深度學習的發展，其效果和應用領域持續擴展。 使用深度學習做影像分割 深度學習和神經網路在影像去背上已取得了驚人的成果。常見的模型如下: 火紅的模型U-Net介紹 網路的介紹文章: https://ithelp.ithome.com.tw/articles/10240314 去背改良版U2NET 網路相關教學文章: https://blog.csdn.net/xuzz_498100208/article/details/109912302

論文來源 – CAPABILITIES – Vision 在 2021 年 8 月的一篇論文中，史丹佛大學的研究人員將 Transformer 模型稱為「基礎模型」，他們認為這些模型推動了人工智慧的典範移轉。他們寫道：「在過去幾年，基礎模型之規模和範圍擴大了我們對可能性的想像。」 On the Opportunities and Risks of Foundation Models Transformer 模型帶來的突破 在電腦視覺領域，Transformer模型能將來自多種來源和感測器的原始資料轉化成視覺知識，此知識適用於多種應用場景。這種思路其實是過去十年在該領域漸漸發展起來的。尤其是ImageNet的出現和監督式預訓練的技術，都帶領了電腦視覺朝向深度學習的方向演變。現今的深度學習模型超越了早期的傳統方法，能夠在大量資料上訓練後，再應用於如圖像識別、物件偵測和圖像分割等不同任務，這樣的思維持續為Transformer模型所採納。 Transformer模型的發展背後是先前方法的限制。傳統的監督學習需要昂貴且仔細收集的標籤，這限制了它的穩定性、泛化性和適用性。相對地，自我監督學習的進步為發展Transformer模型提供了新路徑，讓它能從大量的原始資料中獲取對視覺世界的上下文理解。雖然相對於整個領域的廣泛目標，Transformer模型的能力還在初級階段，但已在傳統電腦視覺任務上展現出增強的泛化能力，且預計這種進展會持續。長遠來看，Transformer模型減少對明確標籤的依賴可能會帶來如常識推理等基礎認知技能的進步，這在傳統監督學習中一直難以達成。 過去機器視覺的關鍵功能 這些任務涵蓋了電腦領域的多個方面，包括： 深度學習模型的主要進展源於ImageNet資料集的引入。通常，模型先在像圖像分類這樣的監督訓練任務上進行訓練，然後根據特定的任務和資料集進行調整，以適應該任務或領域的需求。…