QLoRA 擴展了 LoRA，透過量化原始網路的權重值來提高效率，從高解析度資料類型（如 Float32）到較低解析度資料類型（如 int4）。這會減少記憶體需求並加快計算速度。 什麼是QLoRA QLORA（Quantized LoRA）方法是一種用於大型語言模型（LLMs）的微調的新方法。傳統上，微調大型模型需要龐大的計算資源，而QLORA則提出了一種可以在GPU上進行低成本微調的方法。QLORA的關鍵創新在於使用了4位量化技術，並引入了可訓練的低秩適配器權重，從而大幅降低了微調過程中所需的記憶體，並且在不影響模型性能的情況下實現了相當於16位完全微調基準的預測性能。 QLoRA 技術所做的三個面向改進 由上圖可知，QLoRA 利用了nVidia 統一記憶體功能，當GPU 記憶體不足時，該功能允許GPU->CPU 無縫頁面傳輸，從而管理GPU 中突然出現的記憶體峰值，並協助解決記憶體溢出/超限問題。 利用QLoRA所做的研究 由於 QLORA 的高效性，可以進行深入的指令微調和聊天機器人效能研究，所涉及的模型規模是常規微調因記憶體開銷而無法企及的。 因此，提出論文的團隊針對多個指令微調資料集、模型架構以及參數規模介於 80M 到 65B 的模型訓練了超過…

LoRA（Low-Rank Adaptation)是什麼 LoRA是一種有效的參數微調技術，可幫助改善大型語言模型在特定任務上的效能表現，並且具有較低的運算和儲存成本。它是一種用於在大型語言模型（LLM）上進行參數微調的技術。 它旨在透過降低模型參數的秩（rank）來減少模型的複雜度，從而提高模型的泛化能力和適應性。 在傳統的參數微調過程中，常常會遇到過擬合的問題，特別是當訓練資料較少或訓練資料與目標任務不符時。 LoRA透過引入一個低秩的參數矩陣，將原始的高維參數矩陣分解成兩個低秩矩陣的乘積，從而降低模型的複雜度。 這種降維的方式可以有效地減少模型的參數量，減緩過度擬合的情況，並提高模型的泛化能力。 LoRA的主要優點 LoRA流程說明 運作原理 在LoRA中，一組新參數同時加入了網路WA和中WB。這些網路利用低秩權重向量，其向量的維度表示為dxr和rxd。在這裡，「d」代表原始凍結網路參數向量的維度，而「r」表示所選的低秩或更低維度。值得注意的是，「r」的值越小，模型訓練過程就越加速和簡化。確定適當的「r」值是LoRA中的關鍵決策。選擇較低的值會導致更快且更具成本效益的模型訓練，但可能不會產生最佳結果。相反，選擇較高的「r」值會增加訓練時間和成本，但會增強模型處理更複雜任務的能力。 LoRA的運作方式是，首先需要一個預先訓練的LLM，並凍結其大部分參數。然後，將這些凍結的預訓練模型權重與可訓練的秩分解矩陣一起注入到變壓器的每一層中。這樣做有助於精細化模型，特別是在低資源硬體上調整模型。 從上表可以看出，LoRA 方法的結果與經典的微調方法相當，可以用更少的時間和資源獲得或多或少相同的結果，並且有更快的執行時間和更短的訓練時間，真是太棒了！ 結論 更多資訊請見 LoRA: Low-Rank Adaptation of Large Language Models:

檢索增強生成（RAG）的工作流程 從使用者查詢開始，透過向量資料庫檢索，到填入提示，最終形成回答的整個過程。 RETA-LLM框架可以看作是實現RAG目標的一種具體實現方式，它提供了一套模組化的工具和方法來將外部知識整合到語言模型中，以提升其產生答案的能力。 RETA-LLM Framework 研究論文: https://arxiv.org/pdf/2306.05212v1 過去通用的LLM增強工具包（如LangChain）與RETA-LLM有所不同，RETA-LLM專注於檢索增強LLMs，並提供更多的插件模組。 檢索增強LLMs使用兩個模組的檢索和生成策略： 除了這兩個基本模組外，RETA-LLM還提供了三個可選模組： 這些可選模組可以使IR系統和LLMs之間的交互更加有效和順暢。RETA-LLM中LLMs和IR系統之間的解綁更加徹底，這使得搜索引擎和LLMs的定制更加方便。 RETA-LLM的框架圖 RETA-LLM的工作流程如下： 請注意，LLMs的所有輸入都包含在指示或提示中。 如圖1所示，在RETA-LLM中完全解開了IR系統和LLMs之間的連結。 我們RETA-LLM中的這種分離設計使用戶可以自訂自己的個人搜尋引擎和LLMs。 知識檢索的過程 RAG的挑戰

明確具體的提問 以下為一個範例 In-Context Learning和Chain-of-Thought Tree-of-Thoughts思維樹 思考樹（ToT）是一種透過將複雜問題分解為更易於解決的小問題，為LLM推理提供了更結構化的提示框架。 與在鏈中推理的CoT不同，ToT以樹的形式組織其解決問題的策略。每個節點都被稱為“思維”，是一個連貫的語言序列，是通往最終答案的一步。 透過將問題劃分為離散的「思想」單元——從填字遊戲中的一系列簡短單字到數學方程式的一個組成部分——ToT確保問題的每個階段都得到系統的解決。 在「oracle模式」下，ToT的表現比CoT還要好

基於神經網路的語言模型 基於神經網路的語言模型是一種利用深度學習技術，特別是透過循環神經網絡（RNN）或注意力機制（Transformer）的模型，來處理自然語言文本並生成下一個詞彙的模型。相較於傳統的方法，這種模型具有以下特點： 依據用戶的指示，LLMs可以執行各種從所未見的新任務，甚至不需要任何樣本、範例。 T5 (Text-to-Text Transfer Transformer) 模型 所有自然語言處理的任務，都可以化為序列對序列的生成任務 缺點包括： LLM的演化歷史 大型語言模型具有以下特別能力： 微調過程 微調過程如下： 此圖表顯示了微調過程的各個步驟 Dual View 是一種 上下文學習 技術，允許模型考慮輸入句子和查詢句子的上下文。它通過向模型提供兩個視圖來實現：

Phi-2 模型介紹 官方介紹: https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ Phi-2 是一個擁有27 億個參數的 Transformer。它使用與Phi-1.5相同的資料來源進行訓練，並使用由各種 NLP 合成文字和過濾網站組成的新資料來源進行了增強（出於安全性和教育價值）。當根據測試常識、語言理解和邏輯推理的基準進行評估時，Phi-2 在參數少於 130 億的模型中展示了近乎最先進的性能。 Phi-3模型介紹 官方介紹: https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/ Phi-3-Mini-128K-Instruct 是一個擁有 38 億參數的輕量級最先進的開放模型，使用 Phi-3 資料集進行訓練。該數據集包括合成數據和經過過濾的公開網站數據，重點是高品質和推理密集屬性。 在初始訓練後，該模型經歷了訓練後過程，其中包括監督微調和直接偏好優化，以增強其遵循指令和遵守安全措施的能力。當根據測試常識、語言理解、數學、編碼、長期上下文和邏輯推理的基準進行評估時，Phi-3 Mini-128K-Instruct 在模型中展示了強大且最先進的性能130…