-
提示工程框架的概念
Continue Reading…: 提示工程框架的概念明確具體的提問 以下為一個範例 In-Context Learning和Chain-of-Thought Tree-of-Thoughts思維樹 思考樹(ToT)是一種透過將複雜問題分解為更易於解決的小問題,為LLM推理提供了更結構化的提示框架。 與在鏈中推理的CoT不同,ToT以樹的形式組織其解決問題的策略。每個節點都被稱為“思維”,是一個連貫的語言序列,是通往最終答案的一步。 透過將問題劃分為離散的「思想」單元——從填字遊戲中的一系列簡短單字到數學方程式的一個組成部分——ToT確保問題的每個階段都得到系統的解決。 在「oracle模式」下,ToT的表現比CoT還要好
-
準備微調用的資料集
Continue Reading…: 準備微調用的資料集LLM的訓練過程 以下是LLM訓練過程的圖 NLP 數據集可用於演示各種 NLP 任務,例如: NLP 數據集可用於為 NLP 模型提供輸入和輸出。 整理 NLP 數據集的步驟 簡單的範例程式碼 用於整理 NLP 數據集的工具和資源
-
基於神經網路的語言模型
Continue Reading…: 基於神經網路的語言模型基於神經網路的語言模型 基於神經網路的語言模型是一種利用深度學習技術,特別是透過循環神經網絡(RNN)或注意力機制(Transformer)的模型,來處理自然語言文本並生成下一個詞彙的模型。相較於傳統的方法,這種模型具有以下特點: 依據用戶的指示,LLMs可以執行各種從所未見的新任務,甚至不需要任何樣本、範例。 T5 (Text-to-Text Transfer Transformer) 模型 所有自然語言處理的任務,都可以化為序列對序列的生成任務 缺點包括: LLM的演化歷史 大型語言模型具有以下特別能力: 微調過程 微調過程如下: 此圖表顯示了微調過程的各個步驟 Dual View 是一種 上下文學習 技術,允許模型考慮輸入句子和查詢句子的上下文。它通過向模型提供兩個視圖來實現:
-
Phi-2 vs Phi-3大語言模型初探
Continue Reading…: Phi-2 vs Phi-3大語言模型初探Phi-2 模型介紹 官方介紹: https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ Phi-2 是一個擁有27 億個參數的 Transformer。它使用與Phi-1.5相同的資料來源進行訓練,並使用由各種 NLP 合成文字和過濾網站組成的新資料來源進行了增強(出於安全性和教育價值)。當根據測試常識、語言理解和邏輯推理的基準進行評估時,Phi-2 在參數少於 130 億的模型中展示了近乎最先進的性能。 Phi-3模型介紹 官方介紹: https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/ Phi-3-Mini-128K-Instruct 是一個擁有 38 億參數的輕量級最先進的開放模型,使用 Phi-3 資料集進行訓練。該數據集包括合成數據和經過過濾的公開網站數據,重點是高品質和推理密集屬性。 在初始訓練後,該模型經歷了訓練後過程,其中包括監督微調和直接偏好優化,以增強其遵循指令和遵守安全措施的能力。當根據測試常識、語言理解、數學、編碼、長期上下文和邏輯推理的基準進行評估時,Phi-3 Mini-128K-Instruct 在模型中展示了強大且最先進的性能130 億個參數。 指令實測 模型角色設定: You are a data organizer and will summarize the entered articles. 輸入文字:…
-
探索LM Studio:輕鬆測試和部署開源大型語言模型
Continue Reading…: 探索LM Studio:輕鬆測試和部署開源大型語言模型探索如何使用LM Studio測試和部署開源大型語言模型(LLM)。本文詳細介紹LM Studio的安裝過程、界面功能,以及如何在本地運行各種GPT模型,實現離線AI聊天機器人。適合想要深入了解LLM技術並進行實際應用的AI愛好者和開發者。
-
ChatGPT / Bing / Bard / Claude指南
Continue Reading…: ChatGPT / Bing / Bard / Claude指南一、介紹人工智慧 這邊主要是在說明人工智慧演進的過程,其實人工智慧的概念第一時間是在1950年時,由圖靈所提出,定義為一個人透過鍵盤和另一個對象溝通,如果施測者無法分辨與之對話的對象是人還是機器的話, 這個機器就被認為擁有「智慧」 但這個時候人工智慧的實作方式還比較以符號邏輯(類似統計學這樣以符號代表抽象的概念)為主,但很難清楚的釐清人類的思考邏輯。後來專家系統時代,人類會嘗試針對每個領域的知識去化作一條條的規則 但是,人類所能表達的,遠比人類所知道的少(博藍尼悖論),因此我們很難很完整的把我們所知道的化作規則或思考邏輯來打造人工智慧。 從2010年至今,我們進入的資料至上的時代,也就是我們開始直接丟資料給電腦,由電腦去歸納、找出電腦自己看得懂的規則,這也是為什麼ChatGPT等生成式AI的結果帶有部分的不可控、不可預測性。 了解AI的演進過程可以讓我們了解當我們要選擇AI技術時,可能可使用的選擇。雖然2010年後的機器學習技術能夠做到最廣泛的通用人工智能,但是若我們的需求範圍較為侷限,或者需要非常高的可解釋性、準確性時,仍然可以考慮符號邏輯或專家系統的方式來實做。 這些演進的歷程都是現在生成式AI能夠出現的重要基礎,每一代之間的關係不是淘汰,而是一層層的進化。 二、基礎模型帶來AI再一次的革命 在這邊我強調了在ChatGPT出現之前的AI應用,大多都用在中、大型企業內部或智能相關產品的應用。但是ChatGPT出現之後,AI從產業研發進入全民有感,並且掀起了非常大的AI風潮。 這是因為基礎模型的出現,所謂基礎模型就是類似ChatGPT這樣用途可以非常廣泛,並且可以透過詞嵌入的方式,以非常快速簡單的prompt方式,打造不同的產品。 例如下圖中的GitHub Copilot、智慧錄音卡、Notion AI、AI心理諮商,其實都是使用ChatGPT的模型,卻可以使用在多種非常不同的應用場景上(心理安慰、生活便利、程式開發等不同用途) 這樣的一個基礎模型的出現,帶來開發AI應用的革命性變革,過去,有些AI應用程式可能需要我花上六個月、甚至一年的時間來建立,現在許多團隊可能一週就能完成 以ChatGPT的自製一個聊天機器人為例,現在只需要上傳一些機器人需要知道的文件資料、並且使用對話的方式指導機器人該如何正確回應,就可以擁有一個專屬的客製對話機器人 三、生成式AI相關的應用 有興趣的可以自行去研究、了解現在AI可以做到那些事情 文本生成(LLM) 圖像生成 (text-to-image) 音樂 / 聲音生成 程式碼生成 四、多模態應用 基礎模型另一個強大之處,在於可以結合視覺、聽覺、文字的輸入,以及對不同型態輸入資料的交叉理解,能夠讓AI朝【通用型人工智慧】更加靠近 五、善用AI為生產力的新動能 特點/模型 Bard(Google) ChatGPT (OpenAI) ChatGPT Plus (OpenAI) Bing (Microsoft) Claude (Anthropic) 上下文窗口長度(Token) 32K 4K 8K 8K…
-
OpenAI Playground介紹
Continue Reading…: OpenAI Playground介紹什麼是OpenAI Playground 教學文件: https://platform.openai.com/docs/overview OpenAI Playground(OpenAI 遊樂場)是OpenAI提供的一個線上平台,用於演示和測試他們的自然語言處理模型,例如GPT-3.5(本模型的基礎)。它允許用戶與模型進行互動,輸入文本並獲得模型的自動回應,以便演示其自然語言處理能力。 OpenAI Playground通常用於展示GPT-3及其他相關模型的功能,並讓開發者和研究人員評估這些模型的效能以及探索其應用潛力。用戶可以在Playground上提出各種問題,構建對話,生成文字,從而了解模型如何處理不同的輸入。 此外,OpenAI Playground也提供一個用戶友好的界面,讓用戶可以輕鬆嘗試GPT-3及相關模型的能力,而無需自行設定或編程。這對於探索自然語言處理的應用,以及將這些模型集成到不同的應用中都非常有用。 在OpenAI Playground體驗與模型的互動 Playground 的完整版介面,可以提供各種模式和參數,通過調整無數其他可自定義選項來增強用戶體驗。在對話框的部分也可以使用語音輸入,或者上傳既有的語音檔,使用OpenAI語音轉文字的功能提供資料給Playground 下面是這個介面的一些功能 這些功能和選項使用戶可以更好地控制模型的生成行為,以滿足不同的用例和需求。這使得OpenAI Playground成為一個有用的工具,用於測試、探索和改進自然語言處理應用,並理解模型的行為。 使用OpenAI語音轉文字功能 切到完整功能並且按麥克風的圖案,就可以上傳語音檔案,並使用Whisper轉成文字,這個功能已經開源了 OpenAI Playground的核心特性 支持多種型號的模型 OpenAI API 由具有不同功能和價格點的多種模型提供支援。您也可以透過微調,針對您的特定用例對我們的模型進行客製化。 MODEL DESCRIPTION GPT-4 and GPT-4 Turbo 一組改進 GPT-3.5 的模型,可以理解並產生自然語言或程式碼 GPT-3.5 一組改進 GPT-3 的模型,可以理解並產生自然語言或程式碼 DALL·E…
-
免程式碼將ChatGPT串接到LINE對話
Continue Reading…: 免程式碼將ChatGPT串接到LINE對話使用工具 – FancyAI FancyAI網址: https://www.fancyai.co/ 可輕鬆使用GPT大語言模型知識庫,介面化匯入文件(PDF, CSV, TXT)或網址,讓FANCY AI迅速掌握您的知識進行問答。只需30秒,即可與LINE官方帳號整合,建立分享知識Bot連結。更有視覺化的工作流程編排和對話紀錄功能! FANCY AI 能力 步驟一、創建OpenAI開發者使用的密鑰 首先要去你的OpenAI開發者平台,創建你的API Keys: https://platform.openai.com/api-keys。這樣其他應用程式才可以呼叫你的OpenAI帳號下的API(然後扣你的錢) 接著就是要付款給OpenAI,點此付款: https://platform.openai.com/account/billing/overview。單次可購買$5~$95美金(也就是最低約150左右) OpenAI的API使用需要付費,價格資訊如下: https://openai.com/pricing 由上圖可知道,OpenAI的API計費單位為Token,下面會解釋甚麼叫做Token,也可以線上去測試某段文字的Token數量是多少,可以更精準地了解可能的花費。 可選擇模型的比較 甚麼是Token 在 API 處理提示之前,輸入會被分解為Tokens 。這些Tokens並未準確地在單字開始或結束的位置進行切割 – Tokens可以包含尾隨空格甚至子單字。 以下是一些幫助理解Token長度的有用經驗規則: Token切割測試工具: https://platform.openai.com/tokenizer 步驟二、創建Line Bot帳號並為串接做準備 首先要申請一個Line API串接的開發者帳號: https://developers.line.biz/console/ 創建帳號流程如下: 設定你的LINE BOT帳號為使用Webhook…
-
讓你的ChatGPT更強大 – PDF分析
Continue Reading…: 讓你的ChatGPT更強大 – PDF分析讓ChatGPT可以上傳、分析PDF的好工具 這個工具可以讓ChatGPT可以閱讀內容很長的PDF檔案,而且不用Plus也可以使用,可以讓使用者就PDF的內容來發問,CHATGPT會依照PDF的內容來回答 現在有人開發了AI PDF的工具,也可以嘗試看看: https://chat.openai.com/g/g-V2KIUZSj0-ai-pdf 但是這個工具一定要付費的ChatGPT Plus才可使用,所以如果沒有Plus的人,可以使用下面的Chrome插件的方式 Chrome插件下載 ChatGPT Sidebar & File Uploader 啟用之後你的ChatGPT會增加上傳檔案的按鈕(非Plus用戶也可以唷!) 設定外掛 至下列網址設定外掛行為: chrome://extensions/ 如果沒有設定的話,這個的Sidebar在每個站都會有,我在這邊讓他只能夠影響到ChatGPT這個站,下面的三個開關則請憑自己的喜好去設定 設定PDF檔案內容分段的prompt 這邊我是建議要改用中文來寫,不然他回答都會一直是英文,後面問答用中文問的效果也會很差,但一開始prompt就用中文下的話,回答的內容都還算正確 下面是我設定的值 Single Part Prompt #zh-TW下面是文件完整的資訊,請幫我做此文件資料的總結 Multi Part First Prompt #zh-TW我所分享的此份文件會被分成很多個部分,請等待我輸入所有部分,接著再做全部資料的總結,在這之前,請單單回應 “了解,我會等待其餘的部分輸入” Multi Part Consecutive Prompts #zh-TW這是此份文件分段的其中一部份,請回應”了解,我會等待其餘部分的輸入” Last Part Prompt #zh-TW這是最後一部分,請仔細地觀看全部的文件,在之後的問題中,回應我這份文件的相關資訊…
-
讓你的ChatGPT更強大 – Zapier AI Actions
Continue Reading…: 讓你的ChatGPT更強大 – Zapier AI ActionsZapier是甚麼 Zapier 是一個無需編寫代碼的自動化工具,用於連接和自動化不同應用程序。它允許你創建自動化工作流程(Zaps),觸發事件(如新郵件)將啟動操作(如將附件上傳到雲端硬盤),提高生產力並節省時間。 Zapier 支持數千種應用程序,包括常見的工作工具、社交媒體和電子郵件服務。 在ChatGPT Plus使用API連接Zapier可以做到甚麼 與其他應用程式連動 – 通訊錄 與其他應用程式連動 – 日曆 與其他應用程式連動 – Gmail 如何建立連動 首先,你一定要付費成為ChatGPT Plus會員,這樣才會能夠在你的ChatGPT裡面串接外部API 接著,建立一個你自己專屬的My GPTs,選擇Create a GPT 接著,這邊有詳細的設定教學(https://actions.zapier.com/docs/platform/gpt) 首先,複製這串網址 選擇最下面的Create new action,接著選擇Import from URL,把剛剛的網址貼上去 設定Zapier方的權限 這邊的設定就和ChatGPT本身無關,而是Zapier這邊的權限控管,如果ChatGPT的這個對話功能不會只有自己使用的話,也要教所有使用者如何允許ChatGPT去存取他的Zapier帳號 提供配置 URL 我們為您提供了一個支援自然語言參數的網址,供您在 GPT 中使用,您可以在其中指定操作名稱,也可以選擇包含特定欄位值詳細資訊。使用 https://actions.zapier.com/gpt/start 作為基礎。 它支援兩個可選的查詢參數: 例如,下面的連結將為 Google…
Search
About Me
17年資歷女工程師,專精於動畫、影像辨識以及即時串流程式開發。經常組織活動,邀請優秀的女性分享她們的技術專長,並在眾多場合分享自己的技術知識,也活躍於非營利組織,辦理活動來支持特殊兒及其家庭。期待用技術改變世界。
如果你認同我或想支持我的努力,歡迎請我喝一杯咖啡!讓我更有動力分享知識!