官方資訊 官方網站: https://neo4j.com/ GitHub: https://github.com/neo4j/neo4j 什麼是Neo4j？ 圖形資料庫是一種非關係型的資料庫，以圖形的方式存儲和處理數據。在圖形資料庫中，數據結構主要由節點（Node）和邊（Edge）組成，其中節點代表實體，邊則代表實體間的關係。這種資料庫尤其適合解決複雜的連接問題，例如社交網絡分析、推薦系統和欺詐檢測等。 Neo4j是目前最受歡迎的圖形資料庫之一，它提供了強大的數據建模能力和高效的查詢性能。作為一款專門處理連接數據的數據庫，Neo4j從設計之初就針對數據及其關係進行了優化。作為一種原生圖形數據庫，Neo4j在結構上與其他數據存儲方式大不相同。所謂「原生」意味著每一個數據記錄或節點都包含了直接指向其相連節點的指針，這些直接指針稱為關係。節點中已包含了查找下一個節點所需的所有信息，這就構成了一個連接的圖形，即所謂的原生存儲層。 由於這個設計原理，Neo4j在查詢時不需要計算數據之間的關係，因為這些連接已經存在於數據庫中。這使得對密集連接數據的查詢速度比其他數據庫快數個量級。其他數據庫沒有保存記錄之間的直接指針，它們需要通過搜索一個稱為索引的單獨數據結構來計算連接，這一查找過程需要反复執行以找到每一個連接，不僅耗時而且隨著數據量和查詢複雜度的增加，速度會呈指數級下降，這使它們在處理關係密集型查詢時的速度遠不及Neo4j。 甚麼是圖形數據庫 圖形數據庫將數據以圖的形式表示，這裡的「圖」是數學上的概念，即由節點通過邊連接。在Neo4j中，這些邊被稱為關係。這種表示方式讓客戶能夠實現傳統數據庫無法達到的洞察，因為傳統數據庫通常只將數據表示為行和列。這些新的洞察促使企業能夠做出更多基於數據的決策。 圖形數據庫可以解決三種類型的問題：旅程問題、複雜模式匹配和圖形算法應用。例如，在供應鏈管理中，從產品的來源追踪到消費者的餐盤；或者在零售行業中，通過知識圖形來支持對話代理，讓顧客能夠查詢產品成分等信息。 四種NoSQL 非關聯性資料庫 NoSQL 非關聯性資料庫 例子 鍵-值資料庫 Hadoop HBase 記憶體資料庫 Redis 文件資料庫 Mongodb 圖形資料庫…

官方資訊 Github: https://github.com/Dao-AILab/flash-attention 論文文檔: https://arxiv.org/abs/2205.14135 此存儲庫提供了以下論文中 FlashAttention 和 FlashAttention-2 的官方實現。可讓我們在建模時有更快的注意力，更好的並行度和工作分區。下面為一張概念示意圖： 官方所做的效能提升試驗結果如下: 甚麼是Flash Attention Flash Attention 是一種注意力算法，旨在提高基於 Transformer 的模型的效率，使其能夠處理更長的序列長度並更快地進行訓練和推理。它通過減少計算量和內存使用來實現這一點。Flash Attention 是一種快速且內存高效的精確注意力機制，其設計考慮了IO（輸入輸出）的特性。 這項技術的關鍵點 快速 (Fast) 高效內存使用 (Memory-efficient)…

ChromaDB介紹 官方文件: https://docs.trychroma.com/getting-started GitHub: https://github.com/chroma-core/chroma Chroma是一個新的AI原生開源嵌入式資料庫，非常輕量且易用。 Chroma是開源嵌入式資料庫，它使知識、事實​​和技能可插入，從而輕鬆建立LLM應用程式。它可以運行在記憶體中（可保存在磁碟中），也可做為資料庫伺服器來使用（這和傳統資料庫類似）。 基本使用範例 Elasticsearch Vector Store Elasticsearch 是一個非常強大和靈活的搜索和分析引擎。雖然它的主要用例圍繞全文搜索，但它的用途足夠廣泛，可以用於各種其他功能。其中一個引起許多開發人員和數據科學家注意的功能是使用 Elasticsearch 作為向量資料庫。隨著 dense_vector 數據類型的出現和利用該 script_score 函數的能力，Elasticsearch 的功能已經擴展到促進向量相似性搜索。 Elasticsearch 與專用向量搜索庫相比的優點 使用 Elasticsearch 作為向量資料庫的不可否認的優勢之一是其內置功能，可以過濾對特定數據子集的查詢。當您想要縮小搜索空間範圍或應用程式需要上下文感知向量搜索時，此功能非常有用。相比之下，雖然其他專用的向量搜索庫（如 ChromaDB 和 Faiss）為純向量搜索提供了無可挑剔的速度和效率，但它們缺乏 Elasticsearch…

AWS DocDB 官方網頁: https://aws.amazon.com/tw/documentdb/ Amazon DocumentDB (with MongoDB compatibility) 是一種完全托管的 NoSQL 資料庫服務，可讓開發人員輕鬆地設置、操作和擴展 MongoDB 兼容的資料庫。它提供以下功能： Amazon DocumentDB 適用於各種應用，包括： Alibaba Cloud OpenSearch Vector Store介紹 官方介紹: https://www.alibabacloud.com/help/en/open-search/vector-search-edition/introduction-to-vector-search-edition OpenSearch…

為什麼要使用Docker來運行Ollama 使用 Docker 來運行 Ollama 可以提供許多優點，包括簡化設置、可移植性、隔離、資源管理、可擴展性和可重複性。可以把Ollama變成一個API服務，提供其他的應用程式直接使用API的方式來呼叫Ollama，並運行不同的本地端模型。而把Ollama變為一個Docker服務，更可以在多台機器上分發 Ollama 模型。這對於需要在高可用性環境中運行 Ollama 的情況非常有用。 以下為Ollama的API手冊 https://github.com/ollama/ollama/blob/main/docs/api.md 利用Docker來運行服務的狀況 以下是一些使用 Docker 運行 Ollama 的具體示例： 其中最重要好處的會是第三點，當我們把本地端LLM視為一個API服務，便可以對此服務做平衡負載，並根據使用量來增加機器，擴張服務的Scale，讓整體服務具備有良好的擴充性。 安裝Ollama Docker image 官方網站: https://hub.docker.com/r/ollama/ollama Ollama…

Ollama 介紹 Ollama 是一個開源軟體，讓使用者可以在自己的硬體上運行、創建和分享大型語言模型 (LLM) 服務。它提供了一個易於使用的平台，讓用戶無需複雜的設定即可利用 LLM 的功能。 Ollama 的主要優點包括： Ollama 可用於各種任務，包括： Ollama的優點 Ollama與LM Studio相似，都是可以於本地端運行、比較多個大語言模型的工具，並且也都是開源軟體 功能 Ollama LM Studio 原生功能集 基本 豐富 用戶界面 可使用Command line 豐富易操作的視窗介面…