ISO/IEC 42001:2023 人工智慧系統管理綱要

人工智慧管理系統介紹

文件下載:https://claire-chang.com/wp-content/uploads/2025/10/SCAN-ISO-420012023_-Web.pdf

合規檢核清單:https://claire-chang.com/wp-content/uploads/2025/10/ISO-42001-checklist.pdf

隨著人工智慧 (Artificial Intelligence, AI) 技術日益普及,並逐漸成為各行各業的核心經濟驅動力,組織如何負責任地應用這項強大技術,已成為一項關鍵的策略議題。

  • AI的獨特性質:AI的某些特性,如自動決策的非透明性、持續學習和行為變化等,需要超越傳統資訊技術系統的特定管理方法。
  • 社會與經濟影響:AI技術正日益成為主要經濟驅動因素之一,但其應用也可能引發社會挑戰。本標準旨在幫助組織負責任地履行其角色。
  • 平衡治理與創新:組織需要在一系列治理機制和創新之間取得平衡。AIMS提供了一種風險導向的方法來實現此目標,確保在特定AI應用案例和利害關係人期望之間找到適當的平衡點。

ISO/IEC 42001:2023是全球首個針對人工智慧管理系統(AI Management System, AIMS)的國際標準。該標準旨在為組織提供一個全面性的框架,以負責任的方式開發、提供或使用人工智慧(AI)系統。其核心目標是透過系統化的方法,有效管理與AI相關的獨特風險與機會,同時滿足利害關係人的期望。

為組織內建立、實施、維護和持續改進AI管理系統(AIMS)提供具體要求和指導。其目標是協助組織在追求其目標的過程中,負責任地開發、提供或使用AI系統,並滿足利害關係人的要求與期望。

關鍵核心概念

  • 風險導向方法:要求組織識別、評估並處理整個AI生命週期中的風險,特別強調對個人和社會的潛在影響。包括兩個關鍵流程:
    • AI風險評估 (AI risk assessment, Clause 6.1.2):建立並維持一個流程,以識別、分析和評估與AI相關的風險。
    • AI風險處理 (AI risk treatment, Clause 6.1.3):根據風險評估結果,選擇並實施適當的風險處理方案。
  • 全面的生命週期治理:涵蓋從系統的目標設定、需求定義、設計開發、驗證確認,到部署、營運監控及技術文件管理的各個階段的全過程,確保每個階段都有對應的管理控制措施。
  • 結構化與可整合性:採用與ISO 9001(品質管理)和ISO/IEC 27001(資訊安全管理)等其他主流管理系統標準一致的高階結構(Harmonized Structure),使組織能將AIMS無縫整合至現有的管理體系中。
  • 規範性的控制框架:提供了具體的、必須遵守的控制目標、措施及實施指南,為組織建立有效的AI治理提供了清晰路徑。

管理系統架構 (PDCA循環)

ISO/IEC 42001的結構遵循了Plan-Do-Check-Act (PDCA) 的持續改進模型,為組織提供了一個系統化的實施路徑。

第4條:組織的背景 (Context of the Organization) – 基礎

  • 要求組織理解其內部和外部的議題,識別與AIMS相關的利害關係人及其需求和期望。
  • 明確界定AIMS的邊界和適用性,以建立其範圍。

第5條:領導 (Leadership) – 規劃 (Plan)

  • 強調高階管理階層的領導和承諾至關重要。
  • 高階主管必須確保建立AI政策和AI目標,並分配相關的角色、職責和權限。

第6條:規劃 (Planning) – 規劃 (Plan)

  • 這是風險管理的核心章節,要求組織規劃應對風險和機會的行動。
  • 關鍵活動包括執行AI風險評估、AI系統影響評估,並設定可衡量的AI目標。

• 第7條:支援 (Support) – 執行 (Do)

  • 涉及為AIMS提供必要的資源,包括人員、基礎設施和技術。
  • 確保人員具備所需的能力,提升其意識,建立溝通機制,並管理所有必要的文件化資訊。

• 第8條:營運 (Operation) – 執行 (Do)

  • 要求組織規劃、實施和控制為滿足AIMS要求所需的流程。
  • 這包括實施風險處理計劃,並在計劃的間隔內或當重大變化發生時,定期執行AI風險評估和AI系統影響評估。

• 第9條:績效評估 (Performance Evaluation) – 檢查 (Check)

  • 組織必須監控、測量、分析和評估AIMS的績效和有效性。
  • 關鍵活動包括進行內部稽核和管理階層審查,以確保AIMS持續適用、充分且有效。

• 第10條:改善 (Improvement) – 行動 (Act)

  • 要求組織在發生不符合事項時採取行動,進行控制和糾正。
  • 透過持續改進活動,不斷提升AIMS的適用性、充分性和有效性。

參考控制目標與控制措施

標準的附錄部分提供了具體的、可操作的控制框架,是實施AIMS的核心。

附錄A是規範性的,意味著組織必須使用此處列出的控制措施。它為組織提供了一套全面的參考,以應對AI系統的設計、開發和使用所帶來的風險。以下是其主要控制領域的摘要:

控制領域實施指南(附錄 B)
A.2 AI相關政策提供管理指導和支持,確保AI系統符合業務需求。AI 政策 (B.2.2) 應被告知組織的業務戰略組織價值觀和文化、組織願意承擔或保留的 AI 系統風險等級,以及法律要求合約
A.3 內部組織建立問責制,以維護組織對AI的負責任方法。AI 角色和職責應被定義和分配,涵蓋風險管理、AI 系統影響評估、數據品質管理人為監督(human oversight)、安全、隱私和性能等方面。
A.4 AI系統資源確保組織考慮並提供所需資源,以充分理解和處理風險與影響。數據資源應文件化其獲取、收集、分析、標籤、儲存和保留;工具資源應包括演算法類型、機器學習模型、優化方法、評估方法等;人力資源應涵蓋資料科學家、AI 系統人為監督角色、安全與隱私專家等。
A.5 評估AI系統影響評估AI系統在其整個生命週期中對個人、群體和社會的影響。影響評估應考慮 AI 系統的預期目的複雜性數據類型的敏感性,以及 AI 系統可能影響個人法律地位、身體或心理健康、普世人權社會(如環境影響、就業機會)的方式。
A.6 AI系統生命週期確保組織為AI系統的負責任設計和開發識別目標並實施流程。系統的驗證和確認(Verification and validation, B.6.2.4)措施應包括測試方法學測試數據的選擇發布標準
A.7 AI系統資料確保組織理解資料在AI系統中的作用和影響。數據準備方法應包含一套轉換步驟,以確保數據可用於 AI 任務。(如清洗、填補缺失值)
A.8 利害關係人資訊確保相關利害關係人擁有評估 AI 系統風險和影響所需的必要資訊。系統文件和使用者資訊應包括相關的影響評估資訊(正負面影響),並提供讓外部人員報告不利影響(adverse impacts)的能力。
A.9 AI系統的使用確保組織根據負責任的組織政策使用AI系統。負責使用 AI 系統的目標包括公平性、問責性、透明度、可靠性、安全性、隱私與安全可及性。人為監督機制應包括涉及人類審查(human reviewers)的決策和報告系統性能變更的流程。
A.10 第三方與客戶關係確保組織理解其責任並保持問責,同時適當分配風險。應建立流程確保供應商提供的服務或材料符合組織對 AI 系統的責任開發和使用方法

潛在的 AI 相關組織目標和風險來源

環境複雜性 (Complexity of environment)

當 AI 系統在操作環境中運行,且該環境的情況範圍很廣泛時,會產生環境複雜性的風險。

風險來源具體範例 (來自來源文件的描述或註釋)
操作環境的廣泛性當 AI 系統在情況範圍廣泛的複雜環境中運行時,就會產生風險。
性能的不確定性環境複雜性可能導致 AI 系統的性能產生不確定性,進而成為風險來源。
自駕系統 (Autonomous driving)標準將自動駕駛的複雜環境列為此類風險的背景範疇。

缺乏透明度和可解釋性 (Lack of transparency and explainability)

AI 系統的行為往往難以被利害關係人理解,從而造成透明度和可解釋性不足的風險。

風險來源具體範例 (來自來源文件的描述)
無法提供足夠資訊組織沒有能力向利害關係人提供足夠的資訊,以證明 AI 系統的運行方式和決策過程。
信任度與問責性的不確定性由於資訊不足,導致利害關係人無法理解組織的信任度 (trustworthiness) 和問責性 (accountability)

機器學習相關風險 (Risk sources related to machine learning)

與機器學習(ML)相關的風險主要集中在訓練數據的品質和收集過程上。

風險來源具體範例 (來自來源文件的描述)
數據品質不足用於機器學習的數據品質是風險來源之一。
數據收集過程問題收集數據的過程中出現的問題,也會導致風險。
數據污染/投毒具體風險範例包括因數據品質問題或**數據污染(data poisoning)**而產生的風險。

系統生命週期問題 (System life cycle issues)

AI 系統的風險可能貫穿其整個生命週期,從設計到退役。

風險來源具體範例 (來自來源文件的描述)
設計缺陷在 AI 系統生命週期中出現設計上的缺陷(flaws in design)
例如:
AI 預測模型僅用單一地區數據訓練,未考慮不同地區需求差異
輸出結果偏差,導致錯誤決策或歧視性影響
部署不當例如:
航運公司導入 AI 系統,但僅安裝在少數電腦,缺乏整體流程整合與員工培訓
系統無法發揮效益,決策失準,員工對 AI 失去信任
缺乏維護例如:
銀行反詐欺 AI 系統長期未更新,未能捕捉新型詐騙手法;同時伺服器安全漏洞未修補
詐欺偵測率下降、資料外洩風險升高、可能遭監管罰款
退役問題例如:
醫院汰換 AI 影像判讀系統時,未妥善處理舊系統中的病人影像資料
個資洩漏、違反 GDPR / 個資法,造成法律責任與聲譽損害

其他相關技術風險來源

風險來源具體範例 (來自來源文件的描述)
技術成熟度不足 (Technology readiness)風險來源可能與較不成熟的技術相關,原因包括未知因素(例如系統限制和邊界條件)、性能漂移(performance drift)
系統硬體問題 (System hardware issues)風險可能源於基於有缺陷組件硬體錯誤,或在不同系統之間傳輸訓練過的機器學習模型時發生的錯誤。
自動化程度 (Level of automation)AI 系統或數位系統 在人類決策過程中扮演的角色有多大、依賴性有多高。這個程度會直接影響 安全性、公平性、資安 等面向。

ISO/IEC 4200對組織的意義

採用ISO/IEC 42001標準對組織而言具有深遠的策略意義:

1. 建立信任與信譽:通過符合國際公認的最佳實踐,組織可以向客戶、合作夥伴、監管機構和公眾展示其對負責任和道德AI的承諾。

2. 系統化風險管理:提供了一個結構化的框架來識別和應對AI特有的複雜風險,這些風險可能未被傳統的IT或品質管理系統充分涵蓋。

3. 促進法規遵循:隨著全球各地對AI的監管日益嚴格,一個健全的AIMS可以幫助組織為未來的合規要求做好準備,降低法律和財務風險。

4. 提升競爭優勢:獲得ISO/IEC 42001認證可以成為一個強而有力的市場區隔因素,證明組織在AI治理方面處於領先地位,從而吸引更多業務機會。

5. 推動內部治理成熟度:實施該標準有助於在組織內部建立清晰的AI治理結構、明確的權責劃分和持續改進的文化,從而提升整體的營運效能和決策品質。

實施 ISO 9001:2015 認證步驟

實施 ISO 9001:2015 可分為4大流程:教育訓練(Training)、建置(Implementing)、 驗證(Certification)、維護(Maintaining)。領導力企管提醒您,ISO 9001:2015條文改版,是 ISO 9001 系列自 1987 年以來最大幅度之改版,主要修改的內容包括:

  1. 導入 Annex SL 標準撰寫語言,使未來組織跨系統之整合更為流暢統一。
  2. 加入風險管理(Risk management)的概念,針對目前公司現有作業流程進行風險分析與後續之風險處理。
  3. 加強「最高管理階層」之責任,重視領導階層之領導力與承諾。
  4. 強調「績效評估」的管理。
ISO 9001 認證輔導 | ISO 9001 課程實戰取證輔導 | Leadership 領導力企管

以下為導入 ISO 9001:2015 的 15 項實施步驟:

Step 1:高階管理者的決心與承諾

高階管理層必須表明其承諾和決心,以實施 ISO 9001 管理系統, 若沒有高層管理人員的承諾,管理系統的導入將無法成功。

Step 2:確認品質小組與管理代表

建立一個品質小組並指定一名管理代表,負責協調與規劃和監督實施,品質小組應包括所有組織職能的代表 業務,設計,開發,規劃,生產,品管控制等。管理代表在 ISO 9001 :2015版本已經無強制性建立,因此可由公司負責人或指派一名高階管理人管理品質小組,負責監督與規劃品質目標的實施,以確保品質系統完整性。

Step 3:員工意識培訓

導入 ISO 9001:2015 品質管理系統前,需與員工溝通,並說明導入的重要性,並獲得員工的支持,若省略這一步會讓系統導入變得更加困難,說明的重點如: 品質的基本概念、系統和標準,對整體的影響、公司的戰略目標、可能改變的工作流程和可能的工作文化。另外培訓計畫應針對不同的員工職務進行不同的說明,包括高階管理人員,中層管理人員,主管和現場員工。

Step 4:差距分析

在系統導入前,公司應評估內部目前現有制度與紀錄文件對應品質系統的要求落差,針對落差進行討論與建立。

Step 5:計畫實施

差距分析後,應該更清楚地了解公司的情況,現有的品質管理與ISO 9001標準相比的落差,所以應制定詳細的實施計劃,確定實施與描述符合品質系統要求所需的任務執行。該計劃應該是徹底和具體的,詳細說明:制定 ISO 9001標準品質文件、負責的人員或團隊、需要培訓人員所需資源、預計完成日期、這些要素應組織成詳細的圖表,以供審查並獲得最高管理層的批准。

Step 6:文件建立

公司應該建立關於品質管理系統所需的文件,例:文件控制; 控制記錄; 內部稽核;不合格產品; 糾正措施和預防措施。也會有一些額外的文件化程序幫助員工在公司的各種工作中遵循流程。

Step 7 : 文件審核與發佈

管理階層應確認品質管理系統文件符合公司需求,最後發布與運行。

Step 8:實施教育訓練

本步驟與 Step3 意識培訓差異處,在於最新的品質管理文件應在公司運行,不論管理階層或是現場同仁都應依照所制定的品質管理制度教育訓練,以確保能在公司順利運行。

Step 9 : 驗證機構的選擇

建議在導入初期對應公司的需求,可以向領導力企管諮詢,最適合貴司的驗證機構(Certification Body,CB),包括 BSI、SGS、BV、TUV NORD以及AFNOR 等,領導力企管皆能為您安排。

Step 10 : 內部稽核教育訓練與內部稽核實施

依據 ISO 9001:2015 條文之規定,應定期實施內部稽核,為確保內部稽核順利實施與有效,在實行內部稽核之前,應對內部稽核小組成員實行內部稽核教育訓練。

Step 11 : 管理審查

當管理系統運行一段時間,並進行內部稽核,為確保系統的充分性、適用性、有效應,應在管理審查進行討論,並提出糾正措施。

Step 12 : 第一階段驗證審查

當 ISO 9001:2015 運行一段時間後, 邀請驗證單位來到公司進行第一階段的稽核,主要對應文件的符合性。

Step 13 : 第一階段矯正措施

在驗證單位第一階段文審過後,藉由驗證機構建議或缺失,對不符合事項進行矯正措施。

Step 14 :第二階段驗證審查

在第一階段確認文件符合品質管理系統要求後,邀請驗證第二階段的現場稽核。若通過驗證後在會獲得3年有效期的證書。在這3年內,驗證機構依然會定期至公司進行稽核。

Step 15:持續改進

通過 ISO 9000 認證之後,企業將持續精進、不斷尋求改善,以達到卓越品質與最佳顧客滿意。

歐盟《人工智慧法案》 介紹

歐盟 AI 法案(EU AI Act)

檔案下載:https://claire-chang.com/wp-content/uploads/2025/10/ST-5662-2024-INIT_en.pdf

從2019年到2024年,各國開始陸續推出AI相關管理原則、規則及法規,其中歐盟 AI 法案(EU AI Act)是全球第一個全面性、強制性的 AI 法規,不像美國、日本、台灣大多數還停留在「指導原則」或「政策草案」。它規定了 風險等級分類(不可接受、高風險、有限、低風險),並明確列出每一級需要遵守的義務,例如:合規文件、透明度、人為監督、罰則。

一旦通過,廠商如果要進入歐盟市場,就必須遵守,否則會面臨高額罰款(最高可達全球營業額的 7%)。

歐盟 AI 法案四個風險等級

歐盟的 AI 法案(EU AI Act) 中,把 AI 系統依風險程度分為四個等級:不可接受風險(Unacceptable Risk)高風險(High Risk)有限風險(Limited Risk)低/極小風險(Minimal / No Risk)

A fit for purpose and borderless European Artificial Intelligence ...
風險等級法規文字 / 規範主要義務或處置範疇概述與例子
不可接受風險(Unacceptable Risk)明令禁止使用(Article 5)一律禁止市場投放或使用涉及操控、剝削、社會評分、實時公共場所人臉辨識等功能的 AI 系統被視為對人權或社會構成嚴重威脅,如用 AI 操控思想、用弱點操控、社會評分等。 (artificialintelligenceact.eu)
高風險(High Risk)需受監管、合規義務(Chapter III)必要的文件、風險評估、透明性、人為監督、符合性評估等義務被列在 Annex III 的應用與在受安全法規控制產品中的 AI 系統屬於此類。例:生物辨識、關鍵基礎設施、自動化招聘、信用評分、教育考試評估、公共服務等。 (artificialintelligenceact.eu)
有限風險(Limited Risk)有義務進行標示、告知使用者(如 Article 50)透明性義務(需讓使用者知道自己在與 AI 互動)如聊天機器人、內容生成工具(不是在高風險用途下)等。使用者要被告知正在與 AI 互動。 (lowenstein.com)
低/極小風險(Minimal / No Risk)幾乎沒強制義務可自由使用(但仍要遵守一般法律規範)一般 AI 應用、垃圾郵件過濾、影像後製輔助工具等屬於此級。法律上不會因為這些用途強加額外義務。 (lowenstein.com)

不可接受風險包括以下例子:

  • 社會評分 (Social Scoring): 禁止公共或私人機構使用AI系統對個人進行通用目的的社會評分。法案認為這種做法可能導致歧視性結果,並對個人造成不利或不公的待遇。
  • 情緒識別 (Emotion Recognition): 禁止在工作場所和教育機構中使用情緒識別系統。這項禁令的目標非常明確,旨在保護員工和學生的隱私與尊嚴。然而,法案也設有例外,允許出於醫療或安全原因使用此類技術。
  • 無差別抓取臉部圖像 (Untargeted Scraping of Facial Images): 禁止為了建立或擴展臉部辨識資料庫,而從網際網路或閉路電視(CCTV)畫面中無差別地抓取臉部圖像。此舉旨在遏制大規模監控的基礎設施。
  • 工作與教育場所的情緒識別:禁止在工作場所和教育機構使用 AI 系統推斷自然人的情緒,但出於醫療或安全原因的系統除外(例如監測飛行員疲勞狀態)。
  • 基於敏感特徵的生物分類:禁止利用生物特徵數據推斷個人的種族、政治觀點、工會成員資格、宗教或哲學信仰、性生活或性取向,並對其進行分類。此禁令不包括執法領域對合法獲取數據集的標記或過濾。
  • 個人預測性警務:禁止僅基於對自然人的剖析或評估其人格特質,來評估其犯罪風險的 AI 系統。但用於支持人類評估個人是否涉入犯罪活動的系統則不在此限。
  • 執法部門的即時遠端生物辨識:原則上禁止執法部門在公共可及空間使用「即時」遠端生物辨識系統。僅在極少數嚴格定義的例外情況下,並經司法或獨立行政機關授權後方可使用。

高風險系統的例子:

  • 生物辨識與分類: 遠端生物辨識系統(包括「事後」辨識)、基於敏感特徵的生物分類系統及情緒識別系統。
  • 關鍵基礎設施的管理與運營: 用於道路交通、水、瓦斯、暖氣和電力供應等關鍵基礎設施安全組件的 AI 系統。
  • 教育與職業培訓: 用於決定入學、評估學習成果或在考試中監測作弊行為的系統。
  • 就業、勞工管理與自僱: 用於招聘、晉升或解僱決策、分配任務及監控員工表現的系統。
  • 基本服務的取得與使用: 用於評估獲得公共援助、信貸評分、健康與人壽保險風險定價,以及緊急應變服務調度的系統。
  • 執法: 用於評估個人風險、評估證據可靠性或進行犯罪剖析的系統。
  • 移民、庇護與邊境管制: 用於評估尋求庇護者或簽證申請者風險、審查申請或在邊境進行身份識別的系統。
  • 司法行政與民主程序: 用於協助司法機關研究和解釋事實與法律,或影響選舉結果的系統。

了解你的 AI 系統的風險層級

高風險的 AI 產品可能為與會影響相關人員的權益的領域。如果只是公司內部知識庫,員工自己查詢、學習,屬於 輔助性工具,並沒有直接影響「職涯發展」「升遷決策」「資格審查」,通常 不會被視為高風險。

但如果系統輸出結果被用來「決定誰能升遷、誰能參加專案、誰要接受懲戒」,那就可能觸碰到 職涯與專業資格決策,屬於高風險範疇。

我們可以根據以下角度來判定它屬於哪個風險等級:

影響範圍與決策權重

  • 若 AI 會自動替代人的關鍵決策(例如自動選擇客戶、訂單拒絕或處理) → 有可能落在 高風險
  • 若只是輔助、生成文字、摘要、報表等 → 通常是 有限風險低風險

是否涉及個人資料 / 敏感資料 / 隱私

  • 若 AI 要處理客戶資料、個資、貨主資料等,並對這些資訊做評估、分類、決策 → 風險較高。
  • 若僅處理公開資料/匿名化資料 → 風險可能屬於低/有限。

可解釋性與可控性

  • 如果 AI 系統的決策過程不透明、難以人工監督,那麼該系統傾向落在高風險。
  • 如果是比較易於理解、且人工可以介入修正的系統,風險較低。

法律與監管環境

  • 若當地或客戶所在國對某些用途(如信用評估、生物辨識)已有限制或法規,AI 在這些用途上的風險會被視為高。
  • 若是純內部輔助用途,不對外公開或不與法令敏感用途掛鉤,那可能屬於有限或低風險。

法案第29a條引入了「基本權利影響評估」(Fundamental Rights Impact Assessment, FRIA)的概念。這意味著特定機構(如政府機關、銀行、保險公司)在部署這些高風險AI系統之前,必須強制性地評估該系統對公民基本權利的潛在衝擊。以下為問卷範本,以協助相關機構履行此項評估。

ALIGNER 基本權利影響評估

高風險系統的主要義務

高風險 AI 系統的供應商必須確保其系統在投放市場前符合以下強制性要求:

  • 風險管理系統: 建立並維護一個貫穿 AI 系統整個生命週期的持續性風險管理系統。
  • 資料與資料治理: 用於訓練、驗證和測試的資料集必須高品質、具代表性,並盡可能完整且無錯誤,同時應採取措施識別和減輕潛在的偏見。
  • 技術文件: 準備詳細的技術文件,證明系統符合要求,並供主管機關審查。
  • 紀錄保存: 系統應能自動記錄事件(日誌),以確保其運作的可追溯性。
  • 透明度與使用者資訊: 向部署者提供清晰完整的使用說明,使其能夠理解系統的能力、限制並進行適當使用。
  • 人類監督: 系統的設計應確保能由自然人進行有效監督,包括內建「停止」按鈕等干預機制。
  • 準確性、穩健性與網路安全: 系統應達到與其預期目的相稱的準確性、技術穩健性及網路安全水平,能抵禦錯誤、故障及惡意攻擊。

有限風險 AI 系統的透明度義務

對於風險較低的特定 AI 系統,法案第四章第 52 條規定了透明度義務,以確保人們能夠做出知情的決定:

• 與人類互動的系統: 如聊天機器人,必須告知使用者他們正在與 AI 系統互動,除非這一點在當時情境下顯而易見。

• 情緒識別或生物分類系統: 部署者必須告知受其影響的自然人該系統正在運作。

• 生成式 AI 內容:

  • AI 系統生成的合成內容(如音訊、圖像、影片)應被標記為人工生成或操縱,以便能夠被偵測。
  • 部署者使用 AI 系統生成或操縱的圖像、音訊或影片內容,若構成「深度偽造」(deepfake),必須明確揭露其為人工生成。此義務不適用於明顯的藝術、創意或諷刺性作品。
  •  若 AI 生成的文本是為了向公眾傳播公共利益相關事項而發布,也必須揭露其為人工生成,除非經過人工審查且有法人或自然人對其內容承擔編輯責任。

風險評估重點方向

區塊問題或欄位方向說明 / 目的
系統用途與流程描述– 該 AI 系統將在什麼流程中使用? – 使用頻率、時間範圍?用來讓評估者了解 AI 的應用範圍,以判斷潛在風險。
受影響對象– 哪些自然人或群體會受到影響? – 是否有脆弱族群?評估哪些權利可能被影響,以及影響程度。
風險識別– 哪些基本權利可能受到侵害?(如隱私、尊嚴、非歧視、言論自由等) – 每種風險的可能性與嚴重性?必須明確列出可能風險與對應權利。
人為監督 / 控制措施– 有哪些人工監督機制? – 什麼情況人類可以介入?要確保即使 AI 做出決策,也有人能校正或阻止錯誤。
緩解措施與治理安排– 若風險發生,有哪些補救措施? – 投訴機制、內部治理機制等安排?評估者要看到公司有合理的措施來減輕影響。
更新與再評估機制– 若情況變動是否需重新評估? – 與先前評估是否可重用?法案允許在類似情況下重用,但若有變動須更新。 (AI Act)
與 GDPR / DPIA 的銜接– 是否已有資料保護影響評估 (DPIA)? – 哪些欄位可重用?法案允許把 DPIA 的部分結果納入 FRIA 中。 (aoshearman.com)

高風險 AI 系統合規要求總覽

一、治理與管理架構

1. 風險管理系統(Article 9)

  • 持續迭代:建立、實施、文件化並持續更新。
  • 核心任務
    • 風險識別與評估(正常使用與可預見誤用)。
    • 採取設計與技術措施減少風險。
    • 無法消除的風險 → 設計緩解與控制措施。
    • 定期測試與審查有效性。
  • 特別考量:必須考慮兒少與脆弱群體。
  • 對應的方法論或框架:
    • ISO/IEC 42001:2023(AI Management System,首個 AI 專屬管理系統標準)
    • ISO 31000(風險管理原則與架構)
    • ISO 14971(醫療器材風險管理,若是醫療應用 AI)

2. 品質管理系統(Article 17)

  • 完整 QMS:涵蓋政策、程序、指示。
  • 重點要素
    • 合規策略(含系統修改管理)。
    • 系統設計與開發控制。
    • 數據管理程序。
    • 上市後監控(Article 61)與事故通報(Article 62)。
  • 對應的方法論或框架:
    • ISO/IEC 42001:2023(內建品質與合規要求)
    • ISO 9001(通用品質管理系統)
    • ISO/IEC 27001(資訊安全管理系統,特別是數據安全部分)
    • ISO/IEC 23894(AI 風險管理指導)

二、數據與可追溯性

3. 數據與數據治理(Article 10)

  • 品質要求:數據必須相關、具代表性、完整、減少偏見。
  • 環境脈絡:考慮地理、行為、功能環境差異。
  • 特殊數據:為偏見校正可例外處理 GDPR 第 9 條的敏感數據,但須符合保護措施。

4. 技術文件(Article 11)

  • 投放市場前需完成並持續更新,內容包含:
    • 系統概況與用途。
    • 開發過程、演算法、資源、數據與測試描述。
    • 風險管理與上市後監控規劃。

5. 記錄保存(Article 12)

  • 全生命週期日誌:必須能自動記錄運作事件,用於風險追蹤與監管。

三、設計與性能要求

6. 透明度與資訊提供(Article 13)

  • 使用說明:包含提供者資訊、系統性能限制、風險情境、人為監督措施。

7. 人為監督(Article 14)

  • 確保人類可有效監督,避免自動化偏差。
  • 操作者可隨時干預、停止、覆蓋輸出。
  • 遠端生物辨識 → 至少兩名專業人員核實結果。

8. 準確性、穩健性與網路安全(Article 15)

  • 系統必須具備高彈性與防禦能力。
  • 特別防範:數據投毒(data poisoning)、對抗性攻擊(adversarial attacks)、反饋循環偏差。

四、市場合規義務

9. 合格評估與宣告(Article 43, 48, 49)

  • 投放市場前須經 合格評估(內部或第三方)
  • 提供者需出具 符合性宣告,並貼附 CE 標誌

10. 註冊與資訊義務

  • 歐盟資料庫登錄:高風險系統必須登錄。
  • 公共機關或提供公共服務者:必須在使用前註冊。
  • FRIA(Article 29a):公共機關、銀行、保險等需先完成 基本權利影響評估

台灣現行已經落實或在推動的 AI/相關法規與政策

領域名稱 / 文書性質 / 強制力內容重點
公部門 AI 應用行政院及所屬機關(構)使用生成式 AI 參考指引指引性質要求公部門在使用生成式 AI 時要遵守資通安全、個人資料保護、著作權、侵害人格權等規定。 (nstc.gov.tw)
公部門 AI 應用公部門人工智慧應用參考手冊(草案)草案 / 參考數位發展部提供給各機關作為 AI 應用的參考,包含 AI 應用原則、風險考量、落地策略等。 (moda.gov.tw)
基本法草案人工智慧基本法草案草案希望建立 AI 的基本原則、風險管理框架、保障個人資料與隱私、鼓勵創新。 (join.gov.tw)
金融業專門指引金融業運用人工智慧 (AI) 指引行政指導性質為金融機構導入 AI 時提供風險管理、透明性、合規控制等具體建議。 (fsc.gov.tw)
金融業規範金融機構運用人工智慧技術作業規範業界自律 / 規範性針對銀行業,訂定 AI 實際運用時的風險控管、個資保護、模型治理、透明揭露等規範。 (ba.org.tw)

好用的簡報生成AI工具

任務目標為生成一份【A11y 基礎入門講座內容】的投影片內容

A11y 基礎入門講座內容: https://docs.google.com/document/d/1TFuJXlBw4s_d70qTeoTOAuy-umeJB68ZkvF2v3SoOYM/edit?tab=t.0

免付費方案

工具介紹

工具名稱:超级PPT生成(Super PPT)

網址: https://chatgpt.com/g/g-RfusSJbgM-chao-ji-pptsheng-cheng-super-ppt

此工具的主要功能包括:生成清晰、邏輯嚴謹的 PPT 大綱以及具體內容,可以根據用戶提供的主題,產生結構化的大綱,為簡報奠定基礎。

此為一個使用範例:https://chatgpt.com/share/675fe1ca-7e78-8005-894a-a3601035dfd0

Prompt:

以下面的內容來生成一份投影片,每頁投影片應有標題、內容
<<在此附上文案>>

接著會產生簡報內容

利用Canva將產生的文案變成投影片

首先開啟一份新文件

接著按下魔法文案工具

在這邊不直接把原始文案貼上而選擇先經過ChatGPT整理後的文案(也就是步驟一的文案),是因為會整理得較好、較完整

接著就可以看見生成後的文案

將文件轉為投影片

按下【魔法切換開關】 > 【轉換為簡報】,即可將文件的內容轉換為投影片

會出現選擇版面設計的頁面,選擇好後點選建立簡報,你所建立的簡報就完成囉!

以下為生成的簡報連結:https://www.canva.com/design/DAGZcElQ6SE/Y-dYpRoBiDCSeELTBiQrrA/edit?utm_content=DAGZcElQ6SE&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

付費方案

Gamma

https://gamma.app

專門針對自動生成簡報、文件和網頁設計,讓用戶能夠快速生成高品質的簡報,而無需手動設計和編輯。你可以選擇使用Google帳號直接綁定並免註冊登入,之後點選「新建AI」即可開始使用AI生成簡報。免費版會提供新用戶400點生成點數,建立一份包含8個大綱標題的Gamma簡報需花費40點,而進行一般編輯或插入圖片等功能則不會扣除點數。

直接貼上文件內容,便可以產生如以下的簡報,整個品質還不錯

https://gamma.app/docs/-56gccf0lb5pwxoc

MindShow

https://www.mindshow.fun/

ChatGPT 和 MindShow 的結合,能以最少的時間和技術背景製作出專業且富有創意的簡報。ChatGPT 提供強大的文案生成功能,幫助快速整理內容結構,而 MindShow 則將這些內容轉化為視覺化的投影片,提升簡報的互動性與吸引力。

生成式AI 職場應用全揭秘 – 開啟你職涯的無限可能

活動連結

《AI Frontiers Webinar》https://www.aiatw.org/post/ai-frontiers-webinar-20241124

本書登上天瓏書局11月份暢銷榜第一名喔!

活動簡介

想要成為職場贏家嗎?生成式AI 就是你的秘密武器。

Claire將分享她如何利用AI克服瓶頸,創造職涯新的可能性。她亦訪談了多位不同領域的專家,從多樣化的角度分享如何在各行業中,利用生成式AI來提升工作效率。
透過這場分享,你將獲得最真實、最新且全面的實戰經驗談,拓展你在職涯發展上的無限可能。

分享內容錄影

活動分享簡報

https://claire-chang.com/wp-content/uploads/2025/02/1124生成式AI職場應用全揭秘.pdf

Coze:快速產生專屬於你的聊天機器人

Coze是甚麼

Coze是ByteDance出來的一個AI聊天機器人開發平台,讓你不會寫程式也能建立自己的AI聊天機器人,在這個平台可以用拖拉的方式來完成創建、設定、發布、管理專屬於你的聊天機器人功能,並與多種平台如Line、Slack、Telegram等整合。這平台支持各種AI應用,像是客服、資訊助手或是其他智能工具。

官方網站:https://www.coze.com/home

Coze的主要優勢

其主要優勢如下:

  1. 快速上手:用拖拉的方式,你就能快速架設自己的AI聊天機器人。
  2. 支援多模態輸入: Coze不只文字,還能處理圖片、語音等多種輸入,功能很全面。
  3. 靈活部署: 你開發的聊天機器人能放到Discord、Telegram、LINE、Slack和Reddit等多個平台上。
  4. 可整合各種插件:天氣、地點、日曆等各種插件都能整合,功能更加豐富。
  5. 讓機器人學習專屬於你的知識:你能從後台直接上傳和整理知識庫,讓機器人學會專屬於你應用場景的知識,強化機器人的回答能力。
  6. 應用場景:無論是客服、資訊查詢、任務調度、個人助理或教育輔助,Coze都能派上用場。

可以直接詢問機器人如何使用Coze

在登入之後,Home這邊會有一個Coze的專屬客服機器人,透過詢問機器人問題,可以請機器人幫我們搜尋教學文檔。

創建步驟詳細圖文教學

最主要要創建自己的客服機器人我們可以按下左側的Personal進入創建介面:

Coze的個人區域允許用戶管理他們的機器人、插件、工作流程、知識庫,以及其他個人化設定。這個區域有幾個主要標籤:

  1. 機器人(Bots):在這裡創建和管理你的聊天機器人。
  2. 插件(Plugins):查看和管理已安裝的插件,Coze支持超過60種不同類型的插件,涵蓋API和多模態模型,協助用戶執行信息檢索、旅行計劃和生產力提升等任務。更可以支持自己的API擴展,讓機器人可以連結到自己的客製化功能,以達到更彈性的客製化。
  3. 工作流程(Workflows):Coze有靈活的工作流程,這個功能旨在管理複雜的任務並保持高穩定性。平台提供了多種可組合的節點,如大型語言模型(LLM)、自定義代碼和邏輯判斷,也可以串接自己的知識庫、用卡片的型態呈現回覆結果,這個介面使用戶能夠通過簡單的拖放界面,自動化複雜的機器人設定流程。
  4. 知識庫(Knowledge):透過在這邊建立和維護知識庫,並且結合工作流程,讓機器人在回覆使用者的問題之前可以先去你所建立的知識庫搜尋相關知識,這可以讓機器人回答專屬於你的商店或個人形象的問題。
  5. 卡片(Cards):創建和管理互動卡片,結合工作流程和知識庫的功能可以讓機器人以圖文的方式回覆你要回覆給使用者的資訊。

例如透過以下Workflows創建範例就可以建立一個可以回覆我的相關背景資訊的客服機器人:

上圖的工作流程包括了幾個主要的步驟和節點,來處理和回答用戶的輸入。

  1. 啟動節點(Start):這是工作流程的開始,用來初始化信息,例如設定必要的變數,這裡的例子中使用了「BOT_USER_INPUT」這個變數來存儲用戶輸入。
  2. 知識節點(Knowledge):此節點從指定的知識庫中,基於用戶輸入(BOT_USER_INPUT)尋找最佳匹配的信息。在這個例子中,使用「ClaireChangIntro」作為知識庫的參考,並根據語義搜索策略來找到匹配程度高的內容。
  3. 大型語言模型(LLM)節點:這個節點調用大型語言模型(例如GPT-4o mini 128K)來生成回應。它利用前面節點的輸出作為參考資料和查詢內容,生成用戶的問題回答。
  4. 結束節點(End):工作流的最後一個節點,用來返回處理後的信息給用戶。在這裡,將LLM節點生成的輸出設置為回傳的變數。

整個工作流程通過這些互相連接的節點來自動化處理用戶輸入,生成並提供相關的回答。這種設計允許機器人以高效且靈活的方式回應用戶,並可以根據需要輕鬆地修改或擴展其功能。

這樣的對話機器人可以直接經由簡單設定發佈到Coze Bot Store、Cici、Discord、Telegram、Messenger、LINE、Instagram、Slack、Lark和WhatsApp多種平台。

下面為一個使用範例:

Coze要如何收費?

Coze提供多種收費方案,根據不同用戶的需求,從免費到高級的付費方案都有。收費方案大約有以下幾種:

  1. 免費方案(Free):提供每月0美元的免費使用權,每日可獲得10 credits的信息額度。這適用於只需基本功能的用戶。
  2. 輕量級高級版(Premium Lite):每月9美元,每日提供100 credits的額度。此方案適合需要更高使用頻率但不需要大量信息的用戶。
  3. 高級版(Premium):每月19美元,提供每日400credits的額度,適合需要大量信息處理的用戶。
  4. 進階高級版(Premium Plus):每月39美元,每日可使用1000 credits,是最高級的付費方案,適合極高頻度的商業用戶或開發者。

各個方案都提供不同的AI模型使用權限,例如GPT-3.5、Gemini 1.5 Flash、Claude 3 Haiku等,並根據模型的收取不同的信息額度。例如,使用GPT-40 mini會消耗比GPT-3.5更多的額度。

選擇方案時,應該考慮以下因素:

  1. 預計每日的交互數量
  2. 需要哪些AI模型來實現你的需求
  3. 你的預算範圍

根據這些指標,你可以選擇最符合你需求的方案,以確保你支付的費用與你從Coze獲得的價值相匹配。如果你剛開始使用,可以從免費方案開始,隨著需求增長再升級到更高級的方案。

ControlNet: 放大您的圖像控制能力

想要精確控制AI生成圖像?ControlNet是Stable Diffusion用戶必學的進階技巧。本文將深入介紹ControlNet的使用方法、常見模型與實際應用案例。

ControlNet的核心功能

在AI圖像生成領域中,Stable Diffusion已經成為一個革命性的技術。然而,如何更精確地控制生成過程一直是一個挑戰。這就是ControlNet發揮作用的地方,它為Stable Diffusion帶來了前所未有的條件控制能力。

ControlNet是一個基於深度學習和神經網路的強大工具,它通過多種方式增強了Stable Diffusion的圖像處理能力:

  1. 姿勢控制:利用OpenPose模型,ControlNet能夠精確控制生成人物的姿勢。
  2. 線稿生成:通過Canny Edge檢測,可以從簡單的線稿生成複雜的圖像。
  3. 深度圖控制:使用Depth模型,ControlNet能夠理解並重現圖像的三維結構。
  4. 語義分割:Segmentation模型允許對圖像進行精細的區域控制。
  5. Normal Map應用:這種技術能夠增強圖像的立體感和細節。

ControlNet的應用場景

ControlNet在多個領域展現出強大的應用潛力:

  1. 人物姿勢生成:精確控制人物的姿態和動作。
  2. 風格轉換:保持原始圖像結構的同時,應用新的藝術風格。
  3. 場景重建:根據簡單的輪廓或深度信息重建完整場景。
  4. 圖像編輯:對現有圖像進行精細的修改和增強。

使用技巧與優化

為了充分發揮ControlNet的潛力,以下是一些關鍵的使用技巧:

  1. 提示詞優化:精心設計的提示詞可以大大提高生成效果。
  2. 參數調整:不同的控制強度和去噪設置會產生不同的結果。
  3. 模型選擇:根據具體需求選擇最合適的ControlNet模型。
  4. 多模型組合:結合使用多個ControlNet模型可以實現更複雜的效果。

相比傳統的Stable Diffusion,ControlNet提供了更精確的控制和更多樣化的創作可能性。無論是專業設計師還是AI藝術愛好者,都能從這個強大的工具中受益。

如何使用ControlNet 

ControlNet 不僅僅局限於模型控制,它還包含專為 Stable Diffusion Web UI 設計的擴展版本,使操作更加簡便。

我們在stable diffusion webui可以安裝名為 sd-webui-controlnet 的擴展套件,這是一個開源且高度可靠的工具。該工具在 GitHub 上擁有廣泛的追隨者,並且提供多樣的功能支援,使 Stable Diffusion 的操作變得更加靈活。

通過將其他條件集成到 Stable Diffusion 中來對模型施加控制。該技術提供了對生成圖像的更高精確度的控制,能夠在保留圖像關鍵特徵的同時,避免偏離初始設置。為圖像生成社群提供了一個強大的替代方案,讓使用者可以透過圖像的控制,產生更多符合需求的視覺效果,而不僅僅依賴於文字描述的提示。

ControlNet的圖像控制範例

透過這個框架,ControlNet 對圖像施加了必要的約束,避免生成圖像與原始提取的特徵(如姿勢、構圖等)有重大偏差。這使得使用者能夠基於這些特徵進行更精確的圖像生成,並在保持圖像一致性的同時實現特定的需求。

  • 姿勢與構圖控制: 可生成具有從參考圖像派生的預定義姿勢的圖像或簡筆劃,確保生成的圖像與預期姿勢一致。
  • 插圖樣式和紋理修改: 允許使用者更改插圖的樣式和紋理,以創造多樣化的視覺輸出,滿足不同風格的需求。
  • 線條圖中的顏色增強: ControlNet 支援為線條圖添加顏色,增強視覺吸引力與真實感,使簡單的線條作品能夠具備更豐富的視覺層次。

安裝與使用

此工具可以從 GitHub 獲得,開發者 Mikubill 提供了詳細的安裝說明以及更新維護。

GitHub 頁面: sd-webui-controlnet

要在Stable Diffusion Web UI安裝此插件,可以到 Extension Tab ,在 Install from URL 輸入 https://github.com/Mikubill/sd-webui-controlnet.git 安裝 

您可以在此處找到所有模型的下載連結:https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download

大型模型可至這邊下載: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

然後把模型放在stable-diffusion-webui-master\models\ControlNet資料夾下面

這邊有模型分類的介紹: https://ai-summoner.tw/7612/what-is-controlnet1-1/

設定參數介紹

控制模式包括平衡模式、已提示詞為主、以ControlNet為主

預處理(Preprocessor)參數的作用主要是幫助用戶在生成圖像時,根據不同的需求和參考圖像進行調整和引導。這部分你選擇的要有相對應的模型(請參考上面的模型下載部分),才會能夠生效,關於每一個模型或者預處理的方式介紹請參考上方AI召喚師的文章。

  1. Instruct Pix2Pix (ip2p) 模型 (control_vlle_sd15_ip2p.pth):此模型專注於指令式變換,能夠根據用戶提供的提示詞進行圖像的轉換和變形。例如,使用者可以輸入指令將某種場景轉變為另一種場景,這使得生成的圖像更加符合用戶的具體需求
  2. Shuffle 模型 (control_vlle_sd15.shuffle.pth):Shuffle 模型則更注重於風格轉換,能夠將輸入圖像轉換為具有特定風格的圖像,如卡通風格或水彩風格。這個模型強調細節和紋理的處理,適合用於創造具有藝術感的圖像
  3. Tile 模型control_v11f1e_sd15_tile.pth):主要用於圖像的放大和細節增強。它能夠在有限的像素基礎上對圖像進行分塊擴散處理,生成與原圖相似且極為清晰的圖片,特別適合於對單一圖片進行精修和美化
  4. Depth 模型control_v11f1p_sd15_depth.pth):此模型專注於景深分析,能夠在生成圖片時保持與原圖相同的景深效果,常用於固定人物外型和背景的穩定性
  5.  Canny 模型control_v11p_sd15_canny.pth):主要用於邊緣檢測,能夠精確地識別圖像中的邊緣,適合於需要清晰邊界的圖像生成任務
  6. Inpaint 模型control_v11p_sd15_inpaint.pth):此模型用於重繪和修圖,可以針對特定範圍進行修補,與內建的 inpaint 功能相似,但在使用上更加方便且效果更佳
  7. Lineart 模型control_v11p_sd15_lineart.pth):專門用於處理線條藝術,能夠將圖像轉換為清晰的線條圖,適合於插畫和漫畫風格的生成
  8.  MLSD 模型control_v11p_sd15_mlsd.pth):是一個專門用來描繪建築物的模型。此模型用於多邊形線檢測,能夠識別圖像中的多邊形結構,適合於需要精確形狀識別的任務
  9.  Normal 模型(control_v11p_sd15_normalbae.pth):利用法線圖來分析和控制生成圖像的紋理,這有助於在生成過程中保持真實感和細節
  10.  Openpose 模型control_v11p_sd15_openpose.pth):專注於人體姿勢識別,能夠根據提供的人體骨架信息生成相應的圖像,適合於需要精確人體動作的場景
  11. Scribble 模型control_v11p_sd15_scribble.pth):此模型支持草圖轉換,能夠根據簡單的草圖生成詳細的圖像,適合於草圖創作和概念設計
  12. Segmentation 模型control_v11p_sd15_seg.pth):用於圖像分割,能夠將圖像中的不同部分進行分離和標記,適合於需要區分不同區域的圖像生成任務
  13. SoftEdge 模型 (control_v11p_sd15_softedge.pth):專注於將圖像轉換為柔和的邊緣風格,相較於其他模型更注重圖像的柔和度和自然度,通常用於生成風景、人物等柔和風格的圖片。它是 ControlNet 1.0 版本中 HED 模型的升級版,有四種預處理器可供選擇,按照結果品質排序分別是 SoftEdge_HED、SoftEdge_PIDI、SoftEdge_HED_safe、SoftEdge_PIDI_safe。相對於傳統的邊緣模型(如 Canny),SoftEdge 模型更注重保留圖像的細節,提取的線條更精細,細節更豐富。
  14. Lineart Anime 模型 (control_v11p_sd15s2_lineart_anime.pth):此模型專門用於生成動漫風格的線稿圖像,能夠將圖像轉換為清晰的線條圖,適合於插畫和漫畫風格的生成。它是 ControlNet 1.1 版本中新增的模型,在 ControlNet 1.0 的 Lineart 模型基礎上進行了優化和改進,使生成的線稿更加符合動漫風格。

ControlNet使用的錯誤排解

無法載入ControlNet

錯誤訊息如下:

*** Error loading script: face_manipulation_extras.py
Traceback (most recent call last):
File “C:\Users\clairechang\stable-diffusion-webui-master\modules\scripts.py”, line 515, in load_scripts
script_module = script_loading.load_module(scriptfile.path)
File “C:\Users\clairechang\stable-diffusion-webui-master\modules\script_loading.py”, line 13, in load_module
module_spec.loader.exec_module(module)
File “”, line 883, in exec_module
File “”, line 241, in call_with_frames_removed File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-face-manipulation-extras\scripts\face_manipulation_extras.py”, line 4, in from face_manipulation.main import process, alignImage File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-face-manipulation-extras\face_manipulation\main.py”, line 6, in from face_manipulation.zerodim.network.training import Model File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-face-manipulation-extras\face_manipulation\zerodim\network\training.py”, line 18, in from face_manipulation.zerodim.network.modules import BetaVAEGenerator, BetaVAEEncoder File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-face-manipulation-extras\face_manipulation\zerodim\network\modules.py”, line 10, in from face_manipulation.zerodim.stylegan2_pytorch.model import ConstantInput, ToRGB, ModulatedConv2d, FusedLeakyReLU File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-face-manipulation-extras\face_manipulation\zerodim\stylegan2_pytorch\model.py”, line 11, in from face_manipulation.zerodim.stylegan2_pytorch.op import FusedLeakyReLU, fused_leaky_relu, upfirdn2d, conv2d_gradfix File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-face-manipulation-extras\face_manipulation\zerodim\stylegan2_pytorch\op__init_.py”, line 1, in
from .fused_act import FusedLeakyReLU, fused_leaky_relu
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-face-manipulation-extras\face_manipulation\zerodim\stylegan2_pytorch\op\fused_act.py”, line 19, in
fused = load(
File “C:\Users\clairechang\AppData\Local\Programs\Python\Python310\myenv\lib\site-packages\torch\utils\cpp_extension.py”, line 1308, in load
return _jit_compile(
File “C:\Users\clairechang\AppData\Local\Programs\Python\Python310\myenv\lib\site-packages\torch\utils\cpp_extension.py”, line 1710, in _jit_compile
_write_ninja_file_and_build_library(
File “C:\Users\clairechang\AppData\Local\Programs\Python\Python310\myenv\lib\site-packages\torch\utils\cpp_extension.py”, line 1823, in _write_ninja_file_and_build_library
_run_ninja_build(
File “C:\Users\clairechang\AppData\Local\Programs\Python\Python310\myenv\lib\site-packages\torch\utils\cpp_extension.py”, line 2077, in _run_ninja_build
vc_env = distutils._msvccompiler._get_vc_env(plat_spec)
File “C:\Users\clairechang\AppData\Local\Programs\Python\Python310\myenv\lib\site-packages\setuptools\msvc.py”, line 230, in msvc14_get_vc_env
return _msvc14_get_vc_env(plat_spec)
File “C:\Users\clairechang\AppData\Local\Programs\Python\Python310\myenv\lib\site-packages\setuptools\msvc.py”, line 187, in _msvc14_get_vc_env
raise distutils.errors.DistutilsPlatformError(“Unable to find vcvarsall.bat”)
distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools”: https://visualstudio.microsoft.com/visual-cpp-build-tools/

這個錯誤訊息顯示在運行 face_manipulation_extras.py 腳本時,遇到了一個與編譯 C++ 擴展模組相關的問題,具體來說是缺少 Microsoft Visual C++ 編譯工具。解決這個問題的方法如下:

  1. 安裝 Microsoft C++ Build Tools:前往 Microsoft Visual C++ Build Tools 的官方網站,下載並安裝最新版本的 C++ 編譯工具。這是你系統編譯某些擴展模組所必需的。
  2. 設定 Visual Studio 的環境變數:安裝完成後,必須確保 vcvarsall.bat 已正確配置到你的系統環境變數中,通常這是自動處理的。你可以嘗試重新啟動你的終端機或電腦來使變更生效。

模型版本不相容

錯誤訊息如下:

*** Error running process: C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py
Traceback (most recent call last):
File “C:\Users\clairechang\stable-diffusion-webui-master\modules\scripts.py”, line 832, in process
script.process(p, *script_args)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 1228, in process
self.controlnet_hack(p)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 1213, in controlnet_hack
self.controlnet_main_entry(p)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 898, in controlnet_main_entry
Script.check_sd_version_compatible(unit)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 827, in check_sd_version_compatible
raise Exception(f”ControlNet model {unit.model}({cnet_sd_version}) is not compatible with sd model({sd_version})”)
Exception: ControlNet model control_v11p_sd15_inpaint ebff9138 is not compatible with sd model(StableDiffusionVersion.SDXL)

所選擇的模型與ControlNet的模型不相容。可以確認一下所選擇的 Stable Diffusion 1.x 版本的模型(例如 v1-5-pruned.ckpt 或類似名稱的模型)和ControlNet的版本是否有對應。

關於版本,我們可以根據CivitAI網站去找到適合你的版本的模型

然後關於ControlNet的模型,

SD2.X可在此下載: https://huggingface.co/thibaud/controlnet-sd21/tree/main

SD1.X可在此下載: https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main

將下載的 .ckpt 模型文件放入 Stable Diffusion WebUI 的 models/Stable-diffusion 資料夾中。通常你按了Control Type的按鈕之後,Model應該要自動跳到相對應的模型,如果按了Control Type後Model還是空的,很大的可能你所抓的模型的版本不一致,所以web-ui才會抓不到。

尺寸不一樣的錯誤

*** Error running process: C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py
Traceback (most recent call last):
File “C:\Users\clairechang\stable-diffusion-webui-master\modules\scripts.py”, line 832, in process
script.process(p, *script_args)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 1228, in process
self.controlnet_hack(p)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 1213, in controlnet_hack
self.controlnet_main_entry(p)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 919, in controlnet_main_entry
model_net, control_model_type = Script.load_control_model(p, unet, unit.model)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 436, in load_control_model
control_model = Script.build_control_model(p, unet, model)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet.py”, line 465, in build_control_model
control_model = build_model_by_guess(state_dict, unet, model_path)
File “C:\Users\clairechang\stable-diffusion-webui-master\extensions\sd-webui-controlnet\scripts\controlnet_model_guess.py”, line 218, in build_model_by_guess
p_new = p + unet_state_dict[key].clone().cpu()
RuntimeError: The size of tensor a (1024) must match the size of tensor b (768) at non-singleton dimension 1

此錯誤可能是由於所使用的 ControlNet 模型與你正在運行的 Stable Diffusion 模型之間的尺寸不匹配。Stable Diffusion 1.x 模型的特徵圖通常是 768×768,而 SDXL(Stable Diffusion 2.x)模型的特徵圖大小通常是 1024×1024。因此,如果你在 SDXL 模型中使用了為 Stable Diffusion 1.x 設計的 ControlNet 模型,會導致張量尺寸不匹配。

ADetailer: 自動人臉檢測和高品質修復

在AI繪圖領域中,Stable Diffusion已成為一個強大的工具,但它在生成人臉和手部細節時常常會出現畸形問題。為了解決這個困擾,ADetailer這個Stable Diffusion插件應運而生,它專門針對AI圖像修復,特別是在人臉優化和手部修正方面表現出色。

ADetailer的核心功能

ADetailer是一款功能強大的AI圖像修復工具,它的主要特點包括:

  1. 自動人臉檢測:利用先進的YOLO模型,ADetailer能夠精確定位圖像中的人臉。
  2. 局部重繪:通過生成精確的遮罩,ADetailer可以只對需要修復的區域進行重繪,保留原圖其他部分的完整性。
  3. 高解析度修復:對於低解析度圖像,ADetailer能夠進行優化,提升圖像質量。
  4. 多模型支援:除了YOLO模型,ADetailer還支援MediaPipe模型,為用戶提供更多選擇。
  5. 一鍵修復:簡化了複雜的修復流程,使用者只需點擊幾下就能完成高質量的圖像修復。

使用ADetailer的優勢

相比手動修復,ADetailer在效率和效果上都有顯著優勢。它不僅能夠快速處理全身圖像生成中的細節問題,還可以輕鬆實現表情調整和年齡變化等高級效果。

ADetailer的功能

  • 使用檢測模型自動識別人臉和手部。
  • 面部和手部的識別部分使用穩定擴散進行裁剪和校正。
  • 將校正後的面部和手部圖像小心地重新置放到其原始位置。

Adetailer 不僅可以用於修復扭曲的臉部。以下是一些其他用途:

  • 改變面部表情
  • 更改一個人的年齡
  • 改變外觀以類似於不同的種族或氛圍
  • 僅將LoRA增強功能應用於面部

Stable Diffusion 專注於面部和手部的再生,從而改善了結果。在再生過程中,裁剪區域具有更高的解析度,可以詳細呈現眼睛和鼻子等各個特徵,最終產生精美的面部描繪。

ADetailer 在三個關鍵方面超越了其他技術,使其成為面部矯正的首選:

  • 便利性:啟動「啟用 ADetailer」選項可啟動自動面部矯正,確保使用者友好且無憂的體驗。
  • 記憶體消耗和生成時間優化:與涉及放大原始圖像的許多其他方法不同,這些方法會導致更大的檔大小和更長的處理時間,ADetailer 只關注面部圖像。這種方法可以在不影響圖像解析度的情況下進行有效的校正。
  • 將 LoRA 應用於面部的靈活性: ADetailer 允許在矯正過程中進行微小調整, 為使用者提供更大的靈活性和便利性

安裝 ADetailer

以下為GitHib的位置: https://github.com/Bing-su/adetailer

這邊是使用Stable Diffusion Web-ui的ADetailer安裝教學:

  • 按下Apply and restart UI按鈕

此時我們進入擴展插件>已安裝,應該要可以看到adetailer

接著確認是否在首頁有出現adetailer的設定欄位

ADetailer 的模型列表

ADetailer 提供用於檢測人臉、手和身體的模型。可根據想要生成的圖像或您想要校正的特定部分(例如,面部、手部、身體)選擇適當的模型。

ModelTarget 目標
face_yolov8n.pt臉部(插圖/真實)
face_yolov8s.pt臉部(插圖/真實)
hand_yolov8n.pt手(插圖/真實)
person_yolov8n-seg.pt人物(插圖/真實)
person_yolov8n-seg.pt全身(插圖/真實)
person_yolov8s-seg.pt全身(插圖/真實)
person_yolov8s-seg.pt全身(插圖/真實)
mediapipe_face_full人臉(真實)
mediapipe_face_short 人臉(真實)
mediapipe_face_mesh人臉(真實)

在 ADetailer 選單中輸入提示

以下為一個範例

Prompt: (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), (extremely detailed 8k wallpaper), cheerleader outfit, 20-year-old woman, detailed face

Negative Prompt: EasyNegative, deformed face, ugly, bad face, deformed eyes

左邊的圖片沒有使用 ADetailer,右邊的圖片應用了 ADetailer。可以觀察到 ADetailer 可以糾正面部的任何扭曲。

用ADetailer改變表情

  1. 切換到「圖像信息(PNG Info)」選項
  2. 選擇要修改的圖片
  3. 輸入提示詞

若想檢查是否為五根手指,則可使用以下設定

提示的關鍵字:

  • five fingers

否定提示的關鍵詞:

  • deformed hand
  • extra_fingers
  • bad fingers
  • missing fingers
  • fewer digits, extra digit
  • liquid fingers

Stable Diffusion主要功能和應用

官方網站

https://stability.ai

可看見現在這個平台所提供的相關工具包括: 圖像生成、影像生成、音樂生成、3D模型生成、文字生成

開源社群

https://civitai.com

可下載許多人自己生成的模型和相關微調模型,還有許多澀澀的(?)圖片

主要功能 – 圖像生成

根據文本生成圖像

  • 描述生成:用戶可以輸入一段文字描述,Stable Diffusion 模型會根據這段描述生成對應的圖像。例如,輸入“日落下的山脈”,模型會生成一幅描繪日落下山脈的圖像。

創意生成

  • 藝術創作:藝術家可以使用 Stable Diffusion 生成具有特定風格或主題的圖像,從而激發創意和靈感。
  • 概念設計:設計師可以快速生成概念草圖,用於產品設計或廣告創意。

圖像生成使用模型為: SD1.x, SD2.x, SDXL

SDXL 是目前 Stable Diffusion 系列中最新的模型之一。它在 SD2.x 的基礎上進一步提升了圖像的品質和細節,尤其是在處理複雜的場景和人物時表現更加出色。SDXL 還能夠生成更加多樣化的圖像風格,為用戶提供了更多的創作可能性。

更多資訊: https://chrislee0728.medium.com/stable-diffusion-xl-%E8%AA%AA%E6%98%8E%E5%8F%8A-sdxl1-0-%E5%AE%89%E8%A3%9D%E6%95%99%E5%AD%B8-b2f7648d49ff

主要功能 – 圖像修改和增強

圖像修復

  • 缺損修復:模型可以自動填補和修復圖像中缺失或損壞的部分,恢復圖像的完整性。
  • 品質增強:提高低解析度圖像的質量,使其更加清晰和細緻。

圖像編輯

  • 局部修改:用戶可以指定圖像的某個區域進行修改,例如改變圖像中的顏色、形狀或添加新的元素。
  • 風格轉換:將圖像轉換為不同的藝術風格,如將照片變為素描或油畫效果。

技術介紹

要使用Stable Diffusion來做到圖像修復或者是圖像編輯,需要安裝相關ADetailer的外掛,以下為一個範例

https://blog.csdn.net/2401_84250575/article/details/138863838

以Web ui為例,可以安裝ADetailer的擴展套件,就可以讀取相關的模型來修復圖片

主要功能 – 多模態應用

圖像-文本匹配

  • 圖像標註:根據圖像生成相應的文本描述,適用於自動標註和圖像檢索。
  • 文本生成圖像:根據文本描述生成圖像,用於多模態數據集的構建和應用。

文本-圖像交互

  • 文本驅動的圖像編輯:用戶可以通過文本指令對圖像進行特定修改,例如“將天空變成藍色”或“在圖像中添加一棵樹”。

主要功能 – 創意應用

動畫生成

遊戲開發

主要功能 – 科學研究

醫學圖像分析

  • 醫學影像生成:根據描述生成醫學影像,輔助醫學研究和診斷。
  • 圖像合成:生成合成的醫學圖像,用於訓練和測試醫學影像分析模型。

自然科學模擬

  • 氣象模擬:生成氣象圖像,用於天氣預測和氣候研究。
  • 地理模擬:根據描述生成地理景觀圖像,幫助地理研究和模擬。