Claire's Blog

什麼是RAPTOR 參考資料：https://www.cnblogs.com/xiaoqi/p/18060281/RAPTOR RAPTOR 是一種基於「樹狀結構」的 RAG 方法。首先，RAPTOR 將所有文本分割成小塊，並將這些塊轉化為向量，然後通過聚類這些向量形成樹狀結構的層級索引（例如，不同層級的主題群組）。在查詢時，模型可以根據這棵樹的結構，有針對性地檢索和生成答案。 RAPTOR 是基於樹狀結構的分層檢索方法，將文本片段轉換成向量並聚類形成樹狀索引。這種方法讓系統可以在樹狀結構中快速定位特定的主題或類別，並支持多層次的檢索。RAPTOR 依賴樹狀結構的索引來進行分層檢索，根據查詢在預先建立的分層索引中找到最佳匹配的層次和分支。這使得它在面對大量資訊的時候，可以快速進行全局性或細節性的檢索。 高度依賴於樹狀索引結構，這使得它能更快地找到分層的資訊，但靈活性相對較低。 這種基於樹的索引方式可以讓檢索更高效，因為系統可以快速定位到與查詢最相關的分支。這也有助於全局性查詢，特別是需要在不同主題中查找關鍵資訊的情境。樹狀結構還提供了一種自然的分層索引方法，能適應不同的查詢深度。 和Graph RAG的差異 RAPTOR 和 Graph RAG 有一些相似之處，因為它們都基於結構化的索引來組織和檢索資料，並試圖在回答查詢時提供更全面和有層次的資訊。不過，它們在具體的結構、處理流程和應用場景上仍有一些關鍵區別： 相似之處 RAPTOR 和 Graph RAG 都依賴預先建立的結構化索引，RAPTOR 使用樹狀結構，而 Graph RAG 則使用多層次的圖形社群結構。這些方法預先組織了資料，以便在查詢時可以快速定位。 區別之處 RAPTOR 和 Graph RAG 通過層級結構或社群摘要來進行資訊組織，這些摘要是預先準備好的，可快速調用。RIG 的資訊生成過程是動態的，每次生成部分答案後再進行新一輪檢索和生成，因此不依賴於預先準備的摘要，而是根據查詢需要來即時擴充答案。

什麼是RIG RIG 是一種「檢索-生成交錯」的方法，強調在查詢的每一輪檢索和生成之間交替進行。例如，模型會先檢索資料來生成部分答案，再基於這個生成的內容進行下一輪檢索。這樣交替進行，逐步補充答案。 RIG 常用於需要多步驟推理的情境，模型可以通過分階段檢索、補充和生成，動態構建出全面的答案。 這種方法有助於模型在多輪次中漸進式地加深對複雜問題的理解，尤其適合多跳問題（multi-hop questions），即那些需要逐步從不同的資訊片段中推理出最終答案的問題。 參考資料：https://medium.com/@sahin.samia/retrieval-interleaved-generation-rig-using-llm-what-is-it-and-how-it-works-aa8be0e27bbc RIG 的特點 RIG 沒有固定的結構，它更像是一種逐步探索的策略，不依賴任何預先分層或社群索引，而是即時根據每輪生成的結果來進行下一輪檢索。這讓 RIG 更加靈活，但在處理大型資料集時可能會相對較慢。其資訊生成過程是動態的，每次生成部分答案後再進行新一輪檢索和生成，因此不依賴於預先準備的摘要，而是根據查詢需要來即時擴充答案。 Retrieval Interleaved Generation (RIG)範例查詢 用戶提出一個多步驟的問題： 「阿基米德是如何影響現代物理學的？」 這個問題相對複雜，因為它不僅涉及阿基米德的生平，還包括他的貢獻如何影響後來的物理學理論，需要多步驟推理來構建答案。 RIG 運作流程 最終答案示例 「阿基米德對現代物理學的影響主要體現在他的浮力原理和杠杆原理。浮力原理為伽利略對於運動的研究提供了基礎，而杠杆理論則是牛頓力學的重要基石。此外，阿基米德的研究還在流體力學方面影響了後來的科學家，進一步推動了流體動力學的發展。」

論文網址： https://arxiv.org/abs/2404.16130 Graph RAG 介紹 一種新的 Graph RAG 方法，透過建立基於圖形的文本索引，提升對全球性問題的回答品質。這種方法能夠有效地處理大規模文本語料庫，並且能夠擴展到用戶問題的普遍性和要索引的源文本數量。 Graph RAG 管道利用 LLM 衍生的文本圖索引進行資料處理。首先，該管道從來源文件中構建出實體知識圖，將文件中的實體與其關聯關係組織成網狀結構。接著，Graph RAG 使用 LLM 在索引建立階段進行群體預摘要，針對每個具有相似性的實體群體生成摘要，以便更快速地調用相關資訊。當查詢進來時，Graph RAG 可以在查詢時間使用這些預摘要來快速生成「全局答案」。這種方法不僅提升了答案的全面性和多樣性，還能有效降低生成回答時的 token 成本。 Graph RAG 系統的工作流程 RAG 的作用：RAG 的目的是提升 LLM 在回答問題時的準確度和廣度。它先從外部數據來源檢索資料，再將這些資料與問題一起添加到 LLM 的上下文中，讓模型能更有針對性地回答問題。 Graph RAG 的優勢：和一般 RAG 不同，Graph RAG 使用了「圖形索引」來組織和檢索資料，這種方法能更好地處理大型資料集，並且在回答問題時能提供更豐富、全面的答案。 其工作流程如下：…

讓LLM記憶對話的幾種方式 參考資料: https://www.pinecone.io/learn/series/langchain/langchain-conversational-memory/ 這些模式是以LangChain的實作為範例，實現對話記憶可以使 LLM 能夠進行連貫的對話，這對於像聊天機器人這樣的應用來說非常重要。 對話記憶的不同形式，包括 每種記憶形式都有其獨特的應用場景，例如 ConversationBufferMemory 適合簡短對話，而 ConversationSummaryMemory 適合長對話，因為它通過總結歷史對話來節省令牌使用。此外，網頁還提到了其他類型的對話記憶，如 ConversationKnowledgeGraphMemory 和 ConversationEntityMemory。 雖然需要更多的調整來決定總結什麼以及在緩衝區窗口中保持什麼，但ConversationSummaryBufferMemory確實給了我們很多靈活性，也是我們的記憶類型中唯一一個（到目前為止）允許我們記住遙遠互動和以其原始——以及信息最豐富——的形式存儲最近的互動。 ConversationBufferWindowMemory的token使用比較圖 ConversationSummaryBufferMemory的token使用比較圖 進階的記憶模式 – 實體、圖形記憶 參考資料：https://www.comet.com/site/blog/advanced-memory-in-langchain/ ConversationEntityMemory(實體記憶) 實體記憶能夠幫助 AI 模型記住和理解對話中的關鍵實體，從而提供更準確和相關的回答 使用一個LLM來提取有關實體的信息，並隨著時間的推移建立對這些實體的知識。實體記憶對於維持上下文和保留在對話中提到的實體的信息非常有用。它可以幫助模型根據對話的歷史提供準確和相關的回應。 若希望模型了解特定實體及其相關信息時，應使用實體記憶。 以下為實體記憶對話的一個應用範例： 1. 輸入對話: Abi, Andy, Lucas, and Harpreet are building the LLMOps…

什麼是Agent 參考資料：https://docs.dify.ai/zh-hans/guides/application-orchestrate/agent 智能助手（Agent Assistant），利用大語言模型的推理能力，能夠自主對複雜的人類任務進行目標規劃、任務拆解、工具調用、過程迭代，並在沒有人工干預的情況下完成任務。 在Dify創建Agent 我們可以在Studio > Agent創建一個具備Agent功能的機器人 在認識Agent之前，要先了解工具是什麼 在工作流的地方，我們可以呼叫外部的API，在那邊，呼叫的動作是我們自己在工作流程中設定如何呼叫，但是如果流程不是固定的，而會隨著使用者的回應而改變，那麼工作流就會不堪用，就要改使用Agent，由大語言模型來幫忙判斷何時該呼叫那些外部API或那些功能 在Dify裡面已經有很多預設的工具，但是很多時候如果不符合需求，我們就會需要設定自己的工具 在Dify自己創建工具 首先就是要寫一個API，關於API的格式，我在我的前一篇文章有分享過 那要如何把這個寫好的API給Dify使用呢?這時候就要大推下面這個網址 https://chatgpt.com/g/g-TYEliDU6A-actionsgpt 基本上我就把我的API的程式碼整個貼給他，叫他幫我產生一個YAML檔案，噹噹噹~就完成啦!連解釋都大致正確喔! 在這邊創建自己的工具，然後回到剛剛在Studio > Agnet創建的機器人，在工具部分增加自己的工具，LLM會根據你在YAML裡面寫的工具說明(英文)和參數說明，自動產生相對應的資料去呼叫函數，非常的聰明!但也因為這樣，工具說明和參數說明一定要認真寫，千萬不要亂寫，會影響到呼叫的成功率