使用 LangSmith 和 Langfuse 增強 Dify 上 LLM 的可觀察性
參考文章：https://dify.ai/blog/dify-integrates-langsmith-langfuse
Dify 現在支持使用 LangSmith 和 Langfuse 這兩款工具來詳細追蹤和分析 LLM 應用的數據。這些工具使得選擇合適的模型、創建有效的提示、監控應用性能、持續改進應用以及成本優化變得更加容易。
LangSmith 介紹
官方網站：https://www.langchain.com/langsmith
LangSmith 的主要目的是提升 LLM 應用的可觀察性和性能，適合需要深入監控和評估模型表現的開發者。LangSmith 是由 LangChain 開發的一款工具，專門用於協助開發者在生產環境中更有效地管理和監控大型語言模型 (LLM) 應用程式。它提供了一套完整的工具，涵蓋了從模型開發、測試到部署的整個生命週期。
LangSmith 的主要功能
- 追蹤 (Tracing)：
- 詳細記錄 LLM 應用程式在執行過程中的每個步驟，包括輸入、輸出、模型參數等。
- 方便開發者回溯問題，分析模型行為。
- 監控 (Monitoring)：
- 實時監控 LLM 應用程式的性能指標，如回應時間、錯誤率等。
- 及早發現異常，確保系統穩定運行。
- 部署 (Deployment)：
- 提供簡便的部署方式，將 LLM 應用程式快速部署到生產環境。
- 支持多種部署方式，如雲端、本地等。
- 提示工程 (Prompt Engineering)：
- 提供管理和優化提示的工具。
- 幫助開發者撰寫更有效、更精準的提示。
- 評估 (Evaluation)：
- 提供多種評估方式，評估模型的性能。
- 幫助開發者優化模型。
如何與 Dify 串接？
在 Dify 中使用 LangSmith 和 Langfuse 非常簡單。在創建應用程序後，您可以在概覽頁面上通過一鍵配置啟用這些工具。
一旦配置完成，您在 Dify 創建的應用程序中的使用數據將自動傳輸到這些平台。在 LangSmith 和 Langfuse 的項目管理界面中，您可以查看詳細的性能指標、成本數據和使用信息，以優化您在 Dify 上的應用程序。
