為什麼要使用Docker來運行Ollama 使用 Docker 來運行 Ollama 可以提供許多優點，包括簡化設置、可移植性、隔離、資源管理、可擴展性和可重複性。可以把Ollama變成一個API服務，提供其他的應用程式直接使用API的方式來呼叫Ollama，並運行不同的本地端模型。而把Ollama變為一個Docker服務，更可以在多台機器上分發 Ollama 模型。這對於需要在高可用性環境中運行 Ollama 的情況非常有用。 以下為Ollama的API手冊 https://github.com/ollama/ollama/blob/main/docs/api.md 利用Docker來運行服務的狀況 以下是一些使用 Docker 運行 Ollama 的具體示例： 其中最重要好處的會是第三點，當我們把本地端LLM視為一個API服務，便可以對此服務做平衡負載，並根據使用量來增加機器，擴張服務的Scale，讓整體服務具備有良好的擴充性。 安裝Ollama Docker image 官方網站: https://hub.docker.com/r/ollama/ollama Ollama…

Ollama 介紹 Ollama 是一個開源軟體，讓使用者可以在自己的硬體上運行、創建和分享大型語言模型 (LLM) 服務。它提供了一個易於使用的平台，讓用戶無需複雜的設定即可利用 LLM 的功能。 Ollama 的主要優點包括： Ollama 可用於各種任務，包括： Ollama的優點 Ollama與LM Studio相似，都是可以於本地端運行、比較多個大語言模型的工具，並且也都是開源軟體 功能 Ollama LM Studio 原生功能集 基本 豐富 用戶界面 可使用Command line 豐富易操作的視窗介面…

獲得更好結果的六種策略  寫清楚的說明  提供參考文本 將複雜的任務拆分為更簡單的子任務 正如軟體工程中的良好做法是將複雜系統分解為一組模組化元件一樣，提交給語言模型的任務也是如此。複雜任務往往比簡單任務具有更高的錯誤率。此外，複雜任務通常可以重新定義為更簡單任務的工作流，其中早期任務的輸出用於構造後續任務的輸入。 給模型時間“思考” 如果要求將 17 乘以 28，您可能不會立即知道，但仍然可以隨著時間的推移計算出來。同樣，模型在試圖立即回答時會犯更多的推理錯誤，而不是花時間找出答案。在回答之前要求一個「思維鏈」可以説明模型更可靠地推理出正確的答案。 使用外部工具 通過向模型提供其他工具的輸出來補償模型的弱點。例如，文本檢索系統（有時稱為RAG或檢索增強生成）可以告訴模型有關相關文檔的資訊。像 OpenAI 的 Code Interpreter 這樣的代碼執行引擎可以説明模型進行數學運算和運行代碼。如果一項任務可以通過工具而不是語言模型更可靠或更高效地完成，請卸載它以充分利用兩者。 系統地測試更改 如果可以衡量性能，則更容易提高性能。在某些情況下，對提示的修改將在幾個孤立的示例上獲得更好的性能，但在更具代表性的示例集上會導致整體性能較差。因此，為了確保更改對性能有淨積極影響，可能需要定義一個全面的測試套件（也稱為“eval”）。 更多範例請見: https://platform.openai.com/docs/guides/prompt-engineering/strategy-write-clear-instructions

相關論文: https://arxiv.org/abs/2005.11401 Embedding向量搜尋的概念 在RAG（Retrieval-Augmented Generation）模型中，embedding 向量搜尋是一個關鍵步驟，用於在資料庫中找到與當前查詢相關的資訊。RAG結合了檢索和生成的能力，通過將外部知識融入生成過程中來提高生成內容的質量和相關性。以下是 embedding 向量搜尋的主要步驟： 簡單範例 假設我們有一個簡單的資料庫，包含以下句子： 用戶查詢：「什麼是GPT-3？」 以下為一個用書名做向量檢索的文章，看了此文章會更能理解向量空間的文字意義檢索的概念 https://towardsdatascience.com/building-a-recommendation-system-using-neural-network-embeddings-1ef92e5c80c9 從Fancy AI了解準備資料的幾種方式 網站如下: https://www.fancyai.co/ 從上面的圖片我們可看出大概可分為【直接分段】或【以QA方式去呈現】，而QA方式又分成【讓AI自動整理問答對】、【人工整理問答對】。 三種方式的優缺點比較 這三種方法各有其優缺點，適用於不同的應用場景和需求。 1. 手動輸入問答對 優點： 缺點： 2.…

LlamaIndex的教學資料 這邊有許多的簡單範例: https://github.com/SamurAIGPT/LlamaIndex-course 這邊則是載入文件的範例: https://github.com/SamurAIGPT/LlamaIndex-course/blob/main/dataconnectors/Data_Connectors.ipynb 範例程式載入PDF如下 載入YouTube的字幕的範例如下 使用上面的寫法我們會發現會跳出這樣的警告 DeprecationWarning: Call to deprecated function (or staticmethod) download_loader. (`download_loader()` is deprecated. Please install tool using pip install…

查詢流程解析 檢索器（Retrievers） 檢索器就像是一個數據查找工具，它會根據用戶的查詢從索引中高效地獲取相關的上下文信息。選擇合適的檢索策略至關重要，它會影響檢索到的數據的相關性和效率。 路由器（Routers） 路由器決定了應該使用哪個檢索器從知識庫中獲取相關的上下文信息。更確切地說，RouterRetriever 類負責基於查詢選擇一個或多個候選檢索器來執行查詢。它們會使用選擇器基於每個候選檢索器的元數據和查詢來選擇最佳選項。 節點後處理器（Node Postprocessors） 節點後處理器接收一組檢索到的節點，然後可以對它們進行轉換、過濾或重新排序等操作。 響應合成器（Response Synthesizers） 響應合成器使用大型語言模型 (LLM)、用戶查詢和給定的一組檢索到的文本片段來生成響應。 甚麼是Retriever 檢索器（Retriever）是用來根據給定的查詢從數據源中提取相關的資訊（節點）。這是檢索增強生成（Retrieval-Augmented Generation，RAG）流程中的關鍵步驟，其中檢索器有助於識別可用於生成回應的最相關數據。 以下是檢索器在LlamaIndex中的工作方式概述： 檢索器建立在索引之上，指定了如何從索引中檢索節點。 不同的Retriever介紹 https://docs.llamaindex.ai/en/stable/module_guides/querying/retriever/retrievers/ 有許多不同種的檢索器，較基本的有下面這些 簡單的使用範例 以下是使用ListIndex且模式為embedding的使用範例 使用範例 檢索出的資訊