Posted on by

Retrieval-Augmented LLMs

檢索增強生成（RAG）的工作流程

從使用者查詢開始，透過向量資料庫檢索，到填入提示，最終形成回答的整個過程。

RETA-LLM框架可以看作是實現RAG目標的一種具體實現方式，它提供了一套模組化的工具和方法來將外部知識整合到語言模型中，以提升其產生答案的能力。

RETA-LLM Framework

研究論文: https://arxiv.org/pdf/2306.05212v1

過去通用的LLM增強工具包（如LangChain）與RETA-LLM有所不同，RETA-LLM專注於檢索增強LLMs，並提供更多的插件模組。

檢索增強LLMs使用兩個模組的檢索和生成策略：

  • 根據用戶的請求檢索文件或段落（文件檢索模組）
  • 利用這些相關文件作為參考生成答案（答案生成模組）。

除了這兩個基本模組外，RETA-LLM還提供了三個可選模組：

  • 請求重寫模組，以使用戶當前的請求更完整和清晰
  • 萃取模組，從檢索到的整個文件內容中提取相關段落或片段
  • 事實檢查模組，以驗證生成答案中是否存在事實錯誤

這些可選模組可以使IR系統和LLMs之間的交互更加有效和順暢。RETA-LLM中LLMs和IR系統之間的解綁更加徹底，這使得搜索引擎和LLMs的定制更加方便。

RETA-LLM的框架圖

RETA-LLM的工作流程如下：

  • 使用請求重寫模組修改目前使用者請求，使其完整且清晰。 由於使用者可能向RETA-LLM提出一系列問題，目前使用者請求的語意可能不完整。 例如，使用者可能會問「經濟學院怎麼樣？」而歷史請求是「介紹資訊學院的專業」。 在這種情況下，使用者的準確意思是「介紹經濟學院的專業」。 由於LLMs在對話式密集檢索中顯示出出色的重寫查詢能力，RETA-LLM將當前使用者請求和先前的對話歷史提供給LLMs進行重寫。
  • 然後，RETA-LLM使用文件檢索模組根據修訂後的使用者請求從外部語料庫中檢索相關文件。 文檔檢索模組是與IR系統連接的模組。 它從外部知識語料庫中檢索相關文件並傳回前K個。 。
  • 接下來，RETA-LLM使用段萃取模組從檢索到的文件中提取與使用者請求相關的片段，以形成參考文獻。 由於LLMs的輸入長度限制（通常為2048或4096個標記），因此不可能直接將所有前K個相關文件內容連接起來作為它們產生答案的參考文獻。 透過截斷文件內容的瑣碎方法可能會遺失其中的重要資訊。 因此，RETA-LLM重複使用LLMs自身從修訂後的請求中提取相關片段。 由於一個文件的長度也可能超出限制，RETA-LLM採用滑動視窗策略逐步擷取片段。 在我們的預設配置中，滑動視窗大小和步長設定為512和256。 然後，這些片段被連接在一起作為參考文獻。
  • 此外，RETA-LLM使用答案產生模組為使用者請求產生答案。 如同先前的研究所建議的，透過提供來自外部語料庫檢索到的參考文獻，LLMs可以產生更準確的答案。
  • 最後，RETA-LLM使用事實檢查模組驗證產生的答案是否包含事實錯誤，並為使用者要求輸出最終回應。 儘管提供了產生的額外證據，LLMs也可能出現幻覺。 有必要設計一個模組進行進一步的事實驗證。 由於LLMs具有強大的自然語言理解能力，我們將參考文獻和生成的答案提供給它們進行判斷。 因此，RETA-LLM可以決定是否輸出產生的答案，或只是說「我無法回答這個問題」。

請注意，LLMs的所有輸入都包含在指示或提示中。 如圖1所示，在RETA-LLM中完全解開了IR系統和LLMs之間的連結。 我們RETA-LLM中的這種分離設計使用戶可以自訂自己的個人搜尋引擎和LLMs。

知識檢索的過程

  • 內建工具增強助手功能： 內建的工具可以將上傳的文件中的外部知識與助手功能結合起來，使助手能夠存取並利用這些外部知識來回答使用者的問題。
  • 內容分塊、索引和嵌入儲存： 上傳的檔案內容將被分成區塊，然後進行索引和嵌入儲存。 這意味著文件內容將被切割成較小的片段，每個片段都會被賦予一個特定的標識，並且會轉換成向量表示，以便更有效地處理和檢索。
  • 檢索嵌入以回答輸入查詢： 當使用者提出查詢時，系統會將檢索嵌入的向量表示以尋找與查詢相關的內容區塊。 這些內容區塊中包含的知識將被用來回答使用者的查詢，以提供更準確和全面的答案。

RAG的挑戰

  • 檢索模型： 選擇合適的檢索模型是一項挑戰。 不同的檢索模型可能適用於不同的場景，因此需要仔細選擇以確保檢索的效果和效率。
  • 稠密或稀疏表示： 在RAG中，可以使用稠密或稀疏的表示來表示檢索到的內容。 稠密表示通常具有更高的維度和更多的信息，但也可能更加計算密集。 稀疏表示則可能更加高效，但可能會遺失某些細節資訊。
  • 內容區塊的單位： 將內容分成適當的區塊是一個挑戰。 區塊的大小和粒度會影響到檢索和處理的效率，因此需要找到一個合適的單位來平衡資訊的完整性和處理的複雜性。
  • 類似的參考引入噪音： 當有多個相似的參考資料時，可能會引入噪音，使系統難以確定哪個參考是最相關的。 這可能會影響答案的準確性和一致性。
  • 有些問題需要跨文件引用來回答： 某些問題可能需要引用多個文件中的資訊才能進行回答。 這增加了檢索和整合資訊的複雜性，需要係統能夠有效地處理跨文件的引用和關聯資訊。