Claire's Blog

參考資料 Real-World Example: Building a Fine-Tuned Model with OpenAI：https://medium.com/gptalk/real-world-example-building-a-fine-tuned-model-with-openai-58a0557143af Fine-tuning with OpenAI：https://medium.com/@j622amilah/fine-tuning-with-openai-624a6055517d 官方教學：https://platform.openai.com/docs/guides/fine-tuning#fine-tuning-examples 準備資料的方向 我們可以用微調來調整機器人有一致的回覆口吻和邏輯，或針對特定任務來加強模型的能力，例如生成問題、回答細化，到分類、摘要生成和結構化標記 1. 生成問題 任務目標：根據提供的文本生成可能的相關問題。 2. 細化回答 任務目標：根據問題生成多種類型的回答（簡潔、詳細、多角度）。 3. 分類 任務目標：將文本分配至特定的類別（如情感分類或主題分類）。 情感分類範例 主題分類範例 4. 摘要 任務目標：從提供的文本中生成簡短的摘要。 5. 特定任務的結構化標記 任務目標：從文本中提取關鍵實體並將其標記為結構化數據。 命名實體識別（NER）範例 結構化數據抽取範例 執行範例 如果我期待機器人可以更深入的理解法條 例如下面的資料 【衛生福利部】衛生福利部急難救助金申請審核及撥款作業規定 一、急難救助對象： （一）戶內人口死亡無力殮葬者。…

參考資料 《Ultimate Guide to Fine-Tuning LLMs》詳盡探討了 LLM 微調的流程、進階技術與實際應用，提供了全面的指導與範例！ https://claire-chang.com/wp-content/uploads/2024/11/2408.13296v1.pdf 微調（Fine-tuning）是甚麼 微調（Fine-tuning）是一種在現有的預訓練模型基礎上，針對特定任務進行額外訓練的技術。以下是其核心概念與應用： 微調 LLM 的重要性 微調 LLM（大語言模型）的重要性主要體現在以下幾個關鍵方面： 1. 遷移學習 2. 減少數據需求 3. 改進泛化能力 RAG 和微調該選擇哪個? 1. 外部數據訪問的需求 2. 抑制幻覺與準確性 3. 訓練數據的可用性 4. 數據更新頻率 5. 可解釋性與透明度 決策指南 因素 RAG 的優勢 微調的優勢 外部數據訪問需求 動態檢索外部數據，適用於即時資訊 不適合 抑制幻覺與準確性…

影片介紹 應專注於構建現在可以實現的應用 AI 技術堆疊（AI stack）的理解如下圖，最下面是半導體技術，接著雲端層、基礎模型層 吳恩達認為：對於台灣的許多企業而言，最好的機會是專注於構建現在可以實現的應用 而AI 代理工作流程則是能夠讓應用更加聰明的關鍵 代理式 AI 系統如何運作 越來越多的團隊在實施不止一個單一的代理，而是建立多個 AI 代理的協作系統。 「管理者思維」的設計模式 類似於管理者僱用多名員工來完成不同的任務。例如，你可以設計三到四個 AI 代理，分別負責程式碼撰寫、行銷設計或其他專業領域的工作，然後讓它們彼此協作。 當前 AI 領域的其他五個重要趨勢 半導體領域的發展對應用層很重要 從 AI 模型訓練到部署的時間大幅縮短。以前從數據收集、模型訓練到部署可能需要 6 到 12 個月，而現在透過語言模型的提示工程（Prompt Engineering），許多原本需要半年開發的原型，只需 10 天就能完成。 文本處理革命已經發生，而影像處理革命即將發生 由於傳輸數據的成本和技術瓶頸大幅降低，而數據處理成本（特別是 AI 處理）仍然昂貴，企業開始傾向於將數據分散到不同的地方，根據需要傳輸和處理數據。 非結構化數據的工程化管理。過去，企業主要處理結構化數據，例如表格和數字。但現在隨著 AI 現在能更好地理解文本、圖片和音訊，更多的數據工程需要集中在如何使公司為這些非結構化數據做好 AI…

SciSpace – 專注於科學PDF文件的AI聊天平台 官方網站：https://typeset.io/ai-writer Typeset.io（現稱為SciSpace）是一個專注於科學PDF文件的AI聊天平台。以下是該網站的一些主要功能： 可以使用的用途: 參考介紹文章：https://www.playpcesor.com/2023/12/scispace-ai-research-assistant.html Scopus AI 官方網站：https://elsevier.libguides.com/Scopus/ScopusAI Scopus AI 是由 Elsevier 開發的一款基於生成式人工智慧（GenAI）的智能搜索工具，旨在提升學術研究的效率和準確性。以下是 Scopus AI 的主要功能和特點： Copilot 同時使用關鍵字和向量搜尋工具，採用更多、更多樣化的搜尋技術來更好地處理專業查詢並提供更具體的回應。 Copilot 的工作原理如下：Copilot 查看查詢的內容並決定是否要執行 aand/or、向量搜尋、關鍵字搜索，然後確保複雜的查詢被分解為其組成部分；例如，對於關鍵字搜索，它添加了布林運算符，針對它選擇使用的搜尋管道進行了優化，這樣做時，它比之前的搜尋考慮了更多的抽象內容，因此，Copilot 可以分解更複雜的內容查詢其各個組件並針對向量或關鍵字搜尋優化每個元素。 Google Scholar Google Scholar（谷歌學術搜尋）是一個免費的學術搜索引擎，旨在幫助用戶查找學術文獻、論文、書籍、會議論文和專利等。以下是 Google Scholar 的主要功能和特點： 主要功能 使用場景 Consensus GPT 官方網站：https://chatgpt.com/g/g-bo0FiWLY7-consensus Consensus GPT 是由…

使用 LangSmith 和 Langfuse 增強 Dify 上 LLM 的可觀察性 參考文章：https://dify.ai/blog/dify-integrates-langsmith-langfuse Dify 現在支持使用 LangSmith 和 Langfuse 這兩款工具來詳細追蹤和分析 LLM 應用的數據。這些工具使得選擇合適的模型、創建有效的提示、監控應用性能、持續改進應用以及成本優化變得更加容易。 LangSmith 介紹 官方網站：https://www.langchain.com/langsmith LangSmith 的主要目的是提升 LLM 應用的可觀察性和性能，適合需要深入監控和評估模型表現的開發者。LangSmith 是由 LangChain 開發的一款工具，專門用於協助開發者在生產環境中更有效地管理和監控大型語言模型 (LLM) 應用程式。它提供了一套完整的工具，涵蓋了從模型開發、測試到部署的整個生命週期。 LangSmith 的主要功能 如何與 Dify 串接？ 在 Dify 中使用 LangSmith 和 Langfuse…

什麼是ReAct 論文網址：https://arxiv.org/abs/2210.03629 ReAct Prompting 是一種結合了推理（Reasoning）和行動（Acting）的提示策略，旨在提升語言模型的推理能力和任務處理的靈活性。這種方法特別適合於需要多步推理的情境，讓模型不僅能回答問題，還能在每個步驟中進行推理、執行動作並根據回饋來調整答案。 ReAct Prompting 的核心概念 運作流程 ReAct Prompting 的過程可以分為以下幾個步驟： ReAct Prompting 的優勢 應用場景 實際範例 假設問題是：「找出哪位科學家首次提出光速的概念，並描述他的研究貢獻。」 Step 1（推理）：模型認為首先需要查詢有關「光速概念的歷史背景」。 Step 2（行動）：模型查詢資料庫，得到早期研究光速的科學家名單，包括伽利略、牛頓等。 Step 3（推理）：模型分析這些科學家的貢獻，並找到提出光速具體數值的第一位科學家。 Step 4（行動）：模型查詢更多有關這位科學家的研究，得到其具體貢獻。 Step 5（最終回答）：模型將所有資訊彙整並給出答案，描述該科學家如何提出光速的概念及其相關研究。 之前的相關介紹