參考資料 Real-World Example: Building a Fine-Tuned Model with OpenAI：https://medium.com/gptalk/real-world-example-building-a-fine-tuned-model-with-openai-58a0557143af Fine-tuning with OpenAI：https://medium.com/@j622amilah/fine-tuning-with-openai-624a6055517d 官方教學：https://platform.openai.com/docs/guides/fine-tuning#fine-tuning-examples 準備資料的方向 我們可以用微調來調整機器人有一致的回覆口吻和邏輯，或針對特定任務來加強模型的能力，例如生成問題、回答細化，到分類、摘要生成和結構化標記 1. 生成問題 任務目標：根據提供的文本生成可能的相關問題。 2. 細化回答 任務目標：根據問題生成多種類型的回答（簡潔、詳細、多角度）。 3. 分類 任務目標：將文本分配至特定的類別（如情感分類或主題分類）。 情感分類範例…

參考資料 《Ultimate Guide to Fine-Tuning LLMs》詳盡探討了 LLM 微調的流程、進階技術與實際應用，提供了全面的指導與範例！ https://claire-chang.com/wp-content/uploads/2024/11/2408.13296v1.pdf 微調（Fine-tuning）是甚麼 微調（Fine-tuning）是一種在現有的預訓練模型基礎上，針對特定任務進行額外訓練的技術。以下是其核心概念與應用： 微調 LLM 的重要性 微調 LLM（大語言模型）的重要性主要體現在以下幾個關鍵方面： 1. 遷移學習 2. 減少數據需求 3. 改進泛化能力 RAG 和微調該選擇哪個? 1. 外部數據訪問的需求 2. 抑制幻覺與準確性…

影片介紹 應專注於構建現在可以實現的應用 AI 技術堆疊（AI stack）的理解如下圖，最下面是半導體技術，接著雲端層、基礎模型層 吳恩達認為：對於台灣的許多企業而言，最好的機會是專注於構建現在可以實現的應用 而AI 代理工作流程則是能夠讓應用更加聰明的關鍵 代理式 AI 系統如何運作 越來越多的團隊在實施不止一個單一的代理，而是建立多個 AI 代理的協作系統。 「管理者思維」的設計模式 類似於管理者僱用多名員工來完成不同的任務。例如，你可以設計三到四個 AI 代理，分別負責程式碼撰寫、行銷設計或其他專業領域的工作，然後讓它們彼此協作。 當前 AI 領域的其他五個重要趨勢 半導體領域的發展對應用層很重要 從 AI 模型訓練到部署的時間大幅縮短。以前從數據收集、模型訓練到部署可能需要…

SciSpace – 專注於科學PDF文件的AI聊天平台 官方網站：https://typeset.io/ai-writer Typeset.io（現稱為SciSpace）是一個專注於科學PDF文件的AI聊天平台。以下是該網站的一些主要功能： 可以使用的用途: 參考介紹文章：https://www.playpcesor.com/2023/12/scispace-ai-research-assistant.html Scopus AI 官方網站：https://elsevier.libguides.com/Scopus/ScopusAI Scopus AI 是由 Elsevier 開發的一款基於生成式人工智慧（GenAI）的智能搜索工具，旨在提升學術研究的效率和準確性。以下是 Scopus AI 的主要功能和特點： Copilot 同時使用關鍵字和向量搜尋工具，採用更多、更多樣化的搜尋技術來更好地處理專業查詢並提供更具體的回應。 Copilot 的工作原理如下：Copilot 查看查詢的內容並決定是否要執行 aand/or、向量搜尋、關鍵字搜索，然後確保複雜的查詢被分解為其組成部分；例如，對於關鍵字搜索，它添加了布林運算符，針對它選擇使用的搜尋管道進行了優化，這樣做時，它比之前的搜尋考慮了更多的抽象內容，因此，Copilot 可以分解更複雜的內容查詢其各個組件並針對向量或關鍵字搜尋優化每個元素。…

使用 LangSmith 和 Langfuse 增強 Dify 上 LLM 的可觀察性 參考文章：https://dify.ai/blog/dify-integrates-langsmith-langfuse Dify 現在支持使用 LangSmith 和 Langfuse 這兩款工具來詳細追蹤和分析 LLM 應用的數據。這些工具使得選擇合適的模型、創建有效的提示、監控應用性能、持續改進應用以及成本優化變得更加容易。 LangSmith 介紹 官方網站：https://www.langchain.com/langsmith LangSmith 的主要目的是提升 LLM 應用的可觀察性和性能，適合需要深入監控和評估模型表現的開發者。LangSmith 是由…

什麼是ReAct 論文網址：https://arxiv.org/abs/2210.03629 ReAct Prompting 是一種結合了推理（Reasoning）和行動（Acting）的提示策略，旨在提升語言模型的推理能力和任務處理的靈活性。這種方法特別適合於需要多步推理的情境，讓模型不僅能回答問題，還能在每個步驟中進行推理、執行動作並根據回饋來調整答案。 ReAct Prompting 的核心概念 運作流程 ReAct Prompting 的過程可以分為以下幾個步驟： ReAct Prompting 的優勢 應用場景 實際範例 假設問題是：「找出哪位科學家首次提出光速的概念，並描述他的研究貢獻。」 Step 1（推理）：模型認為首先需要查詢有關「光速概念的歷史背景」。 Step 2（行動）：模型查詢資料庫，得到早期研究光速的科學家名單，包括伽利略、牛頓等。 Step 3（推理）：模型分析這些科學家的貢獻，並找到提出光速具體數值的第一位科學家。 Step…

什麼是RAPTOR 參考資料：https://www.cnblogs.com/xiaoqi/p/18060281/RAPTOR RAPTOR 是一種基於「樹狀結構」的 RAG 方法。首先，RAPTOR 將所有文本分割成小塊，並將這些塊轉化為向量，然後通過聚類這些向量形成樹狀結構的層級索引（例如，不同層級的主題群組）。在查詢時，模型可以根據這棵樹的結構，有針對性地檢索和生成答案。 RAPTOR 是基於樹狀結構的分層檢索方法，將文本片段轉換成向量並聚類形成樹狀索引。這種方法讓系統可以在樹狀結構中快速定位特定的主題或類別，並支持多層次的檢索。RAPTOR 依賴樹狀結構的索引來進行分層檢索，根據查詢在預先建立的分層索引中找到最佳匹配的層次和分支。這使得它在面對大量資訊的時候，可以快速進行全局性或細節性的檢索。 高度依賴於樹狀索引結構，這使得它能更快地找到分層的資訊，但靈活性相對較低。 這種基於樹的索引方式可以讓檢索更高效，因為系統可以快速定位到與查詢最相關的分支。這也有助於全局性查詢，特別是需要在不同主題中查找關鍵資訊的情境。樹狀結構還提供了一種自然的分層索引方法，能適應不同的查詢深度。 和Graph RAG的差異 RAPTOR 和 Graph RAG 有一些相似之處，因為它們都基於結構化的索引來組織和檢索資料，並試圖在回答查詢時提供更全面和有層次的資訊。不過，它們在具體的結構、處理流程和應用場景上仍有一些關鍵區別： 相似之處 RAPTOR 和 Graph RAG 都依賴預先建立的結構化索引，RAPTOR…

什麼是RIG RIG 是一種「檢索-生成交錯」的方法，強調在查詢的每一輪檢索和生成之間交替進行。例如，模型會先檢索資料來生成部分答案，再基於這個生成的內容進行下一輪檢索。這樣交替進行，逐步補充答案。 RIG 常用於需要多步驟推理的情境，模型可以通過分階段檢索、補充和生成，動態構建出全面的答案。 這種方法有助於模型在多輪次中漸進式地加深對複雜問題的理解，尤其適合多跳問題（multi-hop questions），即那些需要逐步從不同的資訊片段中推理出最終答案的問題。 參考資料：https://medium.com/@sahin.samia/retrieval-interleaved-generation-rig-using-llm-what-is-it-and-how-it-works-aa8be0e27bbc RIG 的特點 RIG 沒有固定的結構，它更像是一種逐步探索的策略，不依賴任何預先分層或社群索引，而是即時根據每輪生成的結果來進行下一輪檢索。這讓 RIG 更加靈活，但在處理大型資料集時可能會相對較慢。其資訊生成過程是動態的，每次生成部分答案後再進行新一輪檢索和生成，因此不依賴於預先準備的摘要，而是根據查詢需要來即時擴充答案。 Retrieval Interleaved Generation (RIG)範例查詢 用戶提出一個多步驟的問題： 「阿基米德是如何影響現代物理學的？」 這個問題相對複雜，因為它不僅涉及阿基米德的生平，還包括他的貢獻如何影響後來的物理學理論，需要多步驟推理來構建答案。 RIG 運作流程 最終答案示例 「阿基米德對現代物理學的影響主要體現在他的浮力原理和杠杆原理。浮力原理為伽利略對於運動的研究提供了基礎，而杠杆理論則是牛頓力學的重要基石。此外，阿基米德的研究還在流體力學方面影響了後來的科學家，進一步推動了流體動力學的發展。」

論文網址： https://arxiv.org/abs/2404.16130 Graph RAG 介紹 一種新的 Graph RAG 方法，透過建立基於圖形的文本索引，提升對全球性問題的回答品質。這種方法能夠有效地處理大規模文本語料庫，並且能夠擴展到用戶問題的普遍性和要索引的源文本數量。 Graph RAG 管道利用 LLM 衍生的文本圖索引進行資料處理。首先，該管道從來源文件中構建出實體知識圖，將文件中的實體與其關聯關係組織成網狀結構。接著，Graph RAG 使用 LLM 在索引建立階段進行群體預摘要，針對每個具有相似性的實體群體生成摘要，以便更快速地調用相關資訊。當查詢進來時，Graph RAG 可以在查詢時間使用這些預摘要來快速生成「全局答案」。這種方法不僅提升了答案的全面性和多樣性，還能有效降低生成回答時的 token 成本。 Graph RAG 系統的工作流程…

讓LLM記憶對話的幾種方式 參考資料: https://www.pinecone.io/learn/series/langchain/langchain-conversational-memory/ 這些模式是以LangChain的實作為範例，實現對話記憶可以使 LLM 能夠進行連貫的對話，這對於像聊天機器人這樣的應用來說非常重要。 對話記憶的不同形式，包括 每種記憶形式都有其獨特的應用場景，例如 ConversationBufferMemory 適合簡短對話，而 ConversationSummaryMemory 適合長對話，因為它通過總結歷史對話來節省令牌使用。此外，網頁還提到了其他類型的對話記憶，如 ConversationKnowledgeGraphMemory 和 ConversationEntityMemory。 雖然需要更多的調整來決定總結什麼以及在緩衝區窗口中保持什麼，但ConversationSummaryBufferMemory確實給了我們很多靈活性，也是我們的記憶類型中唯一一個（到目前為止）允許我們記住遙遠互動和以其原始——以及信息最豐富——的形式存儲最近的互動。 ConversationBufferWindowMemory的token使用比較圖 ConversationSummaryBufferMemory的token使用比較圖 進階的記憶模式 – 實體、圖形記憶 參考資料：https://www.comet.com/site/blog/advanced-memory-in-langchain/ ConversationEntityMemory(實體記憶) 實體記憶能夠幫助 AI…