課程網址：https://www.udacity.com/course/viewer#!/c-cs271 什麼是Intelligent Agent 人工智能代理（Agent）根據環境的感知器（下圖的Sensors）傳入的資料，經過一連串的映設函數（紅箭頭部份），藉由效應器對環境做影響（下圖Actuators）。在裡面紅色箭頭部份是最重要的課題，這稱為代理控制策略。 如上圖這樣的一個決策過程會重覆進行很多次，從環境將資訊透過Sensors傳給Agent，經過代理做出決定，然後用Actuators影響環境，這樣的一個周期稱為perception action cycle。 AI應用範疇 財務金融：應用環境可以在股票市場、債卷市場或期貨市場，感知到一些東西的資訊和相關新聞，決策則是買入和賣出。 機器人學：這個是研究時間最長的一門ai領域，他的Sensors及Actuators都是與物理環境交互，而更為特殊。 遊戲：分兩種，一種是與人類對戰，像是象棋對戰，對Agent來說玩家是環境，它必需觀察玩家的動作，目的是戰勝玩家。另一種是遊戲情境模擬，為了要讓遊戲更自然，讓玩家感覺遊戲世界像真實世界般。 醫藥學：可以用在終身醫療上，輸入過去病史，讓它可以幫助判斷未來可能出現的疾病。 WEB應用：像智能搜索，對語意進行判定，然後幫助找出可能更符合使用者想要的搜尋結果。 術語介紹 完全可觀察的環境 vs 部份可觀察的環境(partially) 完全可觀察：例如一些牌類遊戲，當所有牌都已被掀開在桌子上，我們可以看到所有的資訊，可以算出最佳解答。 部份可觀察：像另一些紙牌遊戲，有些牌是掀開的，有些則是未被掀開的。這時就要去觀察並記憶過去曾有的牌型紀錄，和桌上現有的牌，來推算可能是最有利的出牌方式。越多的歷史紀錄可以幫助Agent去做出更正確的推斷。這個循環稱為馬爾可夫模型（Markov Model），我們會廣泛的討論要如何具有下面的這種結構： 確定性環境 vs 隨機性環境(stochastic) 確定性環境：Agent所做的結果會產生的影響是否確定。例如像在象棋遊戲中，移動一個棋子的效果是完全可預見的。 隨機性環境：像是大富翁的擲骰子遊戲，雖然所做的決定會影響結果，但是我們無法預期骰子會擲出多少，因此無法完全預見所做決策會影響到的效果。…