Claire's Blog

YOUTUBE連結: https://www.youtube.com/watch?v=k7aFffQn5vU 本篇文章所有圖片皆來自於永齡基金會 YouTube 講者介紹 吳恩達（1976-，英文名：Andrew Ng），華裔美國人，是斯坦福大學計算機科學系和電子工程系副教授，人工智能實驗室主任。吳恩達是人工智能和機器學習領域國際上最權威的學者之一。吳恩達也是在線教育平台Coursera的聯合創始人（with Daphne Koller），DeepLearning.AI創始人。 他的其他分享 AI 大神吳恩達降臨──告訴你如何成為創新者 【ChatGPT 之父來台】Sam Altman、吳恩達重磅開講！談 AI 將如何顛覆世界 現在AI應用的狀況 兩個重要的概念 大模型的時代 從2010-2020，進入了GPU加速的大模型的時代。這是因為GPU的支持，讓模型可以學習更多的資料，這也讓生成式AI有機會發展起來 AI的革命 – 生成式AI的發展 CHATGPT利用不停地去預測下一個字來完成文字的生成，可以產生非常長的回應文字。吳恩達認為這樣的生成式模型會很大的改變現有的模型生態 生成式AI如何改變建模的過程 以前的監督式學習需要拿到label資料->建模->部屬現在則只需要指定prompt->部屬 吳恩達在現場分享，不同的 AI 分屬不同領域，包含生成式 AI、監督式學習等。他指出，過去 10 年是生成式 AI 的 10 年，如今生成式 AI 僅處於早期的成功階段，未來潛力仍大，如果要達到真正的通用，至少還要 30，甚至…

Auto Labeling 因為在標記時常會花費很多的時間和力氣，現在市面上有許多auto labeling的工具，例如前一陣子meta有發表一個模型，還引起注目叫做SAM: https://segment-anything.com/ 以下為一個簡單的使用範例 成果如下: Roboflow的智慧圈選工具 在Roboflow也有類似的智慧圈選工具，可以自動為我們圈選目標的形狀，使用方式如下 使用現有模型標記YOLO格式label 但是若我們想要使用既有的模型訓練一些新的圖片，在新的圖片，若要標記一些常見的物品，如汽車、人、機車等…。這些東西因為在YOLO這種模型，預設的偵測狀況就很不錯了，有的時候為了要讓標記更快速，可以使用現有模型把預測的結果轉為標記檔案，再匯入Roboflow等標記軟體檢視標記狀況並修正錯誤的標記，會可以使標記工作更輕鬆。 預測結果轉標記程式碼 這邊是預測的result的相關文件: https://docs.ultralytics.com/reference/engine/results/#ultralytics.engine.results.Results.tojson 我真的覺得yolov8做的很用心的點，在於他的說明超級清楚，尤其是在程式碼本身上面，我們可以單單藉由下面程式碼印出詳細返回的物件結構，然後就可以了解該如何取得我們所需的物件資訊 從API我們可以得知，若我們使用的是yolo-seg，則吐回的座標資訊可參考這個返回值 完整預測結果轉標記的程式範例 設定folder_path到images的資料夾，label會放到相對應的labels資料夾下 把YOLO格式轉為COCO格式 請參考此專案: https://github.com/Taeyoung96/Yolo-to-COCO-format-converter/tree/master

https://paperswithcode.com/sota “SOTA” 是 “State-of-the-Art” 的縮寫，意為 “最先進技術”。在計算機科學和人工智能領域，SOTA模型指的是當前被認為是在某個特定任務或領域內表現最優秀的模型或方法。這些模型通常代表了當前領域內的最高水平，並在諸如自然語言處理、計算機視覺、語音識別等各種任務中發揮著重要作用。

下面是四種常見的計算機視覺任務的簡要介紹： 分類（Classification） 分類任務是將輸入圖像分為不同的類別或類別之一。例如，給定一張圖像，分類任務的目標是確定圖像中顯示的對像是什麼，比如貓、狗、汽車、飛機等。這通常涉及訓練一個分類器，以便它能夠識別圖像中的特定特徵並將其歸類到正確的類別中。 語義分割（Semantic Segmentation） 語義分割任務是為圖像中的每個像素分配一個類別標籤，從而實現像素級別的分類。與分類任務不同，語義分割不僅關注對象的類型，還考慮了對象的位置和邊界。這在許多應用中很有用，比如圖像分割、醫學圖像分析等。 語義分割是一種計算機視覺任務，旨在將圖像中的每個像素分配給預定義的語義類別。在語義分割中，每個像素都被標記為屬於某個特定的類別，如人、車、樹等。語義分割遵循像素級別的分類，因此通常使用像素級別的掩碼（即”masks”）來表示圖像中每個類別的區域。這些分割掩碼是二進製圖像，其中每個像素要嘛屬於某個類別，要嘛不屬於。 有名模型: U-Net  和實例分割最大的不同是他的輸入會是兩張圖片，一張為原圖，一張為掩碼的圖 目標檢測（Object Detection） 目標檢測任務涉及在圖像中識別並定位多個不同類別的對象。相比於分類任務，目標檢測不僅需要標識對象的類別，還需要確定它們的位置和邊界框。常見的目標檢測算法可以提供每個檢測到的對象的邊界框和類別信息。具代表性的演算法包括Faster R-CNN, YOLO, SSD等 這篇文章介紹了許多我們常用的物件偵測模型: https://zhuanlan.zhihu.com/p/38709522 實例分割（Instance Segmentation） 實例分割任務結合了目標檢測和語義分割的概念，不僅要對每個對象進行分類，還需要在像素級別區分出每個對象的邊界。實例分割旨在識別圖像中的每個獨立實例並為每個實例分配獨特的標籤，從而在一個圖像中區分出不同的對象。 例如: COCO SegmentationCOCO（Common Objects in Context）是一個廣泛使用的圖像識別和分割數據集，其中包含了多種物體類別的圖像以及每個圖像中物體的分割標註。 COCO Segmentation 數據集中的分割信息通常是用多邊形輪廓來表示物體的形狀。這種分割方法在標註上更靈活，可以準確地表示物體的複雜形狀，但同時也需要更多的標註工作。