Claire's Blog

Ollama 介紹 Ollama 是一個開源軟體，讓使用者可以在自己的硬體上運行、創建和分享大型語言模型 (LLM) 服務。它提供了一個易於使用的平台，讓用戶無需複雜的設定即可利用 LLM 的功能。 Ollama 的主要優點包括： Ollama 可用於各種任務，包括： Ollama的優點 Ollama與LM Studio相似，都是可以於本地端運行、比較多個大語言模型的工具，並且也都是開源軟體 功能 Ollama LM Studio 原生功能集 基本 豐富 用戶界面 可使用Command line 豐富易操作的視窗介面 開源性 是 是 支持的操作系統 Windows、macOS、Linux Windows、macOS 擴展性 可使用API的方式呼叫 較偏向本地端應用程式面 Ollama與LM Studio的比較 Ollama本身其實是完全可以使用command line去執行的服務，因為這樣的特性，Ollama非常容易可以與其他的服務集成，因為它可以變成一個API的服務，讓其他服務去用API的方式來呼叫這個地端模型，也因此，我們會可以在伺服器上面，利用Ollama，使我們的線上服務串接到多個不同的地端LLM模型 以下為一個使用curl來呼叫地端模型的範例 安裝Ollama…

獲得更好結果的六種策略  寫清楚的說明  提供參考文本 將複雜的任務拆分為更簡單的子任務 正如軟體工程中的良好做法是將複雜系統分解為一組模組化元件一樣，提交給語言模型的任務也是如此。複雜任務往往比簡單任務具有更高的錯誤率。此外，複雜任務通常可以重新定義為更簡單任務的工作流，其中早期任務的輸出用於構造後續任務的輸入。 給模型時間“思考” 如果要求將 17 乘以 28，您可能不會立即知道，但仍然可以隨著時間的推移計算出來。同樣，模型在試圖立即回答時會犯更多的推理錯誤，而不是花時間找出答案。在回答之前要求一個「思維鏈」可以説明模型更可靠地推理出正確的答案。 使用外部工具 通過向模型提供其他工具的輸出來補償模型的弱點。例如，文本檢索系統（有時稱為RAG或檢索增強生成）可以告訴模型有關相關文檔的資訊。像 OpenAI 的 Code Interpreter 這樣的代碼執行引擎可以説明模型進行數學運算和運行代碼。如果一項任務可以通過工具而不是語言模型更可靠或更高效地完成，請卸載它以充分利用兩者。 系統地測試更改 如果可以衡量性能，則更容易提高性能。在某些情況下，對提示的修改將在幾個孤立的示例上獲得更好的性能，但在更具代表性的示例集上會導致整體性能較差。因此，為了確保更改對性能有淨積極影響，可能需要定義一個全面的測試套件（也稱為“eval”）。 更多範例請見: https://platform.openai.com/docs/guides/prompt-engineering/strategy-write-clear-instructions

相關論文: https://arxiv.org/abs/2005.11401 Embedding向量搜尋的概念 在RAG（Retrieval-Augmented Generation）模型中，embedding 向量搜尋是一個關鍵步驟，用於在資料庫中找到與當前查詢相關的資訊。RAG結合了檢索和生成的能力，通過將外部知識融入生成過程中來提高生成內容的質量和相關性。以下是 embedding 向量搜尋的主要步驟： 簡單範例 假設我們有一個簡單的資料庫，包含以下句子： 用戶查詢：「什麼是GPT-3？」 以下為一個用書名做向量檢索的文章，看了此文章會更能理解向量空間的文字意義檢索的概念 https://towardsdatascience.com/building-a-recommendation-system-using-neural-network-embeddings-1ef92e5c80c9 從Fancy AI了解準備資料的幾種方式 網站如下: https://www.fancyai.co/ 從上面的圖片我們可看出大概可分為【直接分段】或【以QA方式去呈現】，而QA方式又分成【讓AI自動整理問答對】、【人工整理問答對】。 三種方式的優缺點比較 這三種方法各有其優缺點，適用於不同的應用場景和需求。 1. 手動輸入問答對 優點： 缺點： 2. AI自動產生問答對 優點： 缺點： 3. 直接將文件做分段 優點： 缺點： 適用的場景 直接分段的範例 以上面的例子來說，用戶查詢「怎麼串接GPT-3的API？」， 假設我們有以下一段文檔： 我們可以將這段文檔拆分成以下分段： 然後對每個分段生成嵌入向量，並在檢索系統中建立索引。當用戶查詢「什麼是GPT-3？」時，系統會找到與該查詢最相關的分段（如第三個分段），並用它來生成回應。 產生問答對的範例 問答對生成…

LlamaIndex的教學資料 這邊有許多的簡單範例: https://github.com/SamurAIGPT/LlamaIndex-course 這邊則是載入文件的範例: https://github.com/SamurAIGPT/LlamaIndex-course/blob/main/dataconnectors/Data_Connectors.ipynb 範例程式載入PDF如下 載入YouTube的字幕的範例如下 使用上面的寫法我們會發現會跳出這樣的警告 DeprecationWarning: Call to deprecated function (or staticmethod) download_loader. (`download_loader()` is deprecated. Please install tool using pip install directly instead.) PDFReader = download_loader(“PDFReader”) 錯誤警告訊息 新的文件讀取方式 現在官方推薦的檔案讀取方式如下 不過，如果我們需要這個Reader使用特別的解析器去解析特別格式的文件的話，則要使用額外相關的函式庫，如下面的介紹 相關的函式庫 接著當我們查詢載入本地端檔案的API時，可以看到這個頁面有許多Reader的介紹 https://docs.llamaindex.ai/en/stable/api_reference/readers/file/ 但是如果直接在llamaindex.core會找不到裡面許多的函數，這時候可以在這邊找到 https://llamahub.ai/?tab=readers 這邊可以找到許多其他開發者開發的好用函式庫…