以可适性接收域法为基础之加强式学习演算法
- 格式：pdf
- 大小：363.03 KB
- 文档页数：5
以可適性接收域法為基礎之加強式學習演算法 徐元寶 林欣儀 黃國勝 國立虎尾科技大學資訊工程系 國立中正大學電機工程系 國立中正大學電機工程系 hsuyp@nfu.edu.tw Alieta@seed.net.tw hwang@ccu.edu.tw
摘要 本文主要研究一以可適性接收域法，簡稱ARM (Adaptable-Reception Method)為基礎之加強式學習演算法。ARM的主要架構可分為相似度(Similarity)、學習(Learning)、刪除(Pruning)三部份，能在每次學習後，動態更新神經元的感知域大小，和調整分類邊界，並且會適當的在神經元個數超過上限時進行刪減的動作，以節省空間來存放更多的類別。最後將ARM分類器運算出的分類結果傳送給AHC (Adaptive Heuristic Critic)架構學習，並模擬控制一倒單擺系統，以驗證ARM演算法。 關鍵詞：ARM、神經元、刪除、加強式學習
Abstract An ARM-based (Adaptable-Reception Method) reinforcement learning algorithm is investigated in this article. The ARM is a self organizing architecture which consists of three main structures including similarity, learning, and pruning. Dynamically adjusting the size of sensitivity regions of each neuron and adaptively pruning one of the neurons when grown neurons exceed a limited value, the method can preserve the system resources (available neurons) to accommodate more categories. The clustered result by the ARM is then sent to an AHC (Adaptive Heuristic Critic) architecture (emulated by a personal computer) to learn to balance an inverted pendulum system which is also emulated by the personal computer for verifying the investigated algorithm. According to the simulation results, the proposed ARM algorithm is applied to balance an inverted pendulum demonstrating better performance than that of the generic FAST-AHC and BOX-AHC.
1、前言 無監督式學習的網路模式是從問題中取得訓練範例，輸入變數值，然後從中學習內部的聚類規則，以應用於新的範例。適應共振理論，簡稱ART (Adaptive Resonance Theory)屬無監督式學習的網路模式 [1]，可用來解決穩定性與可塑性的問題。 一般我們使用以分堆理論為基礎之演算法來取代適應啟發評斷，簡稱AHC (Adaptive Heuristic Critical) 演算法 [2]中的Box 解碼器，也就是激發位址部分。其中彈性可適尺寸結構，簡稱FAST (Flexible Adaptable-Size Topology) 理論[3][4]是結合了ART可更改警戒值的優點和GAR理論 (Grow & Represent) [5] 中的類別刪除機制，所衍
生出的架構，可補足BOX的每一次環境狀態的輸入僅輸出一個激發點位址的不足，依每一次環境狀態輸入而激發一個到多個符合激發條件的位址，且能在每次學習後動態更新神經元的感知域位置及大小並使分類邊界成為動態的，更符合AHC所需的輸入，且提升學習速度。另一個優點是激發多個位址時，會適當的對多個有重覆感知域的神經元進行刪減的動作，減少不必要的神經元也可節省空間存放更多的類別。而對於落在未在感知域中的樣本也會新增一神經元來儲存此新的類別，以供之後輸入的樣本的比較歸類指標。 但我們發現以FAST配合AHC應用於倒單擺控制時，需要花很多時間來學習才能夠使倒單擺成功站立，故本研究將嘗試修改FAST的機制，使倒單擺能更快更容易學習站立。 本文共分為五章，第二章為相關原理介紹，包含分類與加強式學習兩部份，探討與介紹運用於此控制器的演算法。第三章描述FAST之修改架構。第四章為模擬分析，將模擬結果與其他演算法作比較。第五章為討論。
2、適應共振理論(ART)與相關方法 ART是由Grossberg在1976年所提出的。他將靜態的競爭式學習神經網路改變成為具動態架構的神經網路，又引進了回授機構（feedback mechanism），用以產生由上而下的期望（top-down expectation），因此神經元在贏得競爭之後還必須符合這個期望，才有資格進行學習；此時，順向路徑與回授路徑所產生的交互作用，會使得神經元的輸出圖樣重複地出現，此即共振狀態（resonant state），這個理論因而被稱為適應共振理論。
彈性可適尺寸結構(FAST) FAST是由Perez & Sanchez在1996年所提出。它是一種非監督式學習類神經網路，由ART衍生而來，可用來解決動態分類 (Dynamic Categorization) 或稱即時分群 (Online Clustering)的功能，且併入了Alpaydin所提出的動態警戒值 (Dynamic Vigilance Parameters) 觀念及即時刪除機制(Online Pruning Mechanism) 的功能來實現類神經網路分類。 在FAST的類神經網路中，每一個FAST的神經元裡有一個W (權重值) 與外面鍵結、T (臨界值) 決定神經元感知域 (Sensitivity Region) 大小。當有輸入樣本進入時，會將每一筆的輸入樣本進行分類，計算是進入那一個神經元的感知域；若此輸入
1 Random Number Generator
Pruning
ClusterP
圖1、FAST架構圖
圖2、AHC架構圖 DecoderACE
ASECart-PoleSystem
X0X1X2:
:::
:
:
V0V1V2
W0W1W2
h
Xn
Vn
Wnθ
θ′r
rˆYh&
State Variables 圖3、AHC架構控制倒單擺系統 樣本不在感知域的範圍內，則新增一個神經元產生新類別儲存此輸入樣本。樣本進入類別時，動作中的神經元會依每次學習後動態更新W及T值、並且若輸入樣本一次進入多個類別時，會適當的對多個有重覆感知域的神經元進行刪除的動作，FAST網路架構圖如圖1所示。 由圖1中可得知當一筆輸入樣 P進入運算時，會與來自Learning部份的神經元中之方塊W，也就是權重值 (Weight Vector) 在Distance中算出曼哈頓距離()jWPD, (例如平面上兩點的座標分別為
p1 在 (x1, y1) 及 p2 在 (x2, y2), 則它們的曼哈頓距離為 |x1 - x2| + |y1 - y2
| )，而此時方塊W及T會
依下列演算法進行更新： 1. 首先計算出輸入樣本 P與j個神經元間的距
離差()jWPD,。
()jiinijWPWPD−∑==1, (1)
若()jWPD,與每一個來自Learning經元的T值均比較過後，發現部份神()jjTWPD>,，
則產生出一個新的神經元 j + 1，並將此神經元初始化，它的權重值為Wj+1 = P、臨2. 界值T j+1
率初始3. = Tini、刪除機值Prj+1
= 1。
若，()jjTWD則進入第j個神經元P<,，此
時更新與值，更新公式如下， jWjT
()()())(tji1WPTtWtWjjjiji−+=+α (2)
()()()()
min1TtTtTtTjjj−−=+γ (3)
4.
的Pjjjrmin) (4) 1一筆輸入。 去累積驗，對外在環境的ari 式中的α 與γ為Learning中的常數 若此筆輸入資料同時進入好幾個類別，則在經過刪除後所產生的刪除機率值Pr與Random Number Generator做比較，刪去其中一個具感知域重覆性的神經元，每次一有進入類別時刪除機率值Pr都會依下列公式重新計算並將新r值回存至神經元中。 Pr(t + 1) = Pr(t) -η(Pr(t) – P5. 回步驟，等待下
適應啟發評斷(AHC) AHC可分為兩個部份：一個為ASE (Associative Search Element) 或可稱之為致動
(Actor)，另一個為ACE (Adaptive Critic Element) 或可稱之為評斷(Critic)。ACE的工作是根據過去所累積的外部環境狀態，學習預測出對未來整體系統的預測值。ASE的工作主要為接收ACE所發出預測值及外部過的經以計算出激發值。 AHC 的架構如圖2，其中 Plant 為受控體，
受控體會回傳其四個狀態變數 State Vables 給AHC架構；獎勵為外部加強訊號r(External Reinforcement Signal)、ACE 預測值為內部加強訊
號 γ
ˆ (Internal Reinforcement Signal)，而長方形區
塊為控制系統，輸出被激發的 Action Y。 ACE負責接收從外部環境所傳回的r和狀態
變數值，並經由內部學習架構與TD (Temporal Diffe出相對此輸入值的Acti輸出至外部環境。 以B入環E後rence) 理論預測出γˆ值輸出至ASE。
ASE是接收ACE輸出Internal Reinforcement Signal和狀態變數值，並經由內部學習架構計算
on Y ，
OX為解碼器之AHC 為了讓倒單擺維持平衡，Barto等人將輸境訊號變數做分類的處理，此處理方法稱為BOXES理論 [2]。由於每個倒單擺問題的狀態集
合為連續的，所以經BOXS理論使其離散化，將輸入變數分成 h,h
