AI 空戰飛行競賽評分公式與權重更新公告

一、權重分更新

AI空戰飛行競賽公告文件內容更新分數計算公式並公告競賽預計使用之各權重值，如下圖所示：

二、JSBSIM模型F16初始狀態更新

1.         油量設定保持滿油狀態(AirCombat_Train_Test\envs\jsbsimEnv\ jsbsimFdm.py)，在step函式中加入下方程式碼

 sim["propulsion/tank[0]/contents-lbs"] = 3486

 sim["propulsion/tank[1]/contents-lbs"] = 3486

 sim["propulsion/tank[2]/contents-lbs"] = 2991

 sim["propulsion/tank[3]/contents-lbs"] = 2991

2.         初始起落架狀態預設收起(AirCombat_Train_Test\envs\jsbsimEnv\ jsbsimFdm.py) ，在reset函式中加入下方程式碼

    sim["gear/gear-cmd-norm"] = 0

    sim["gear/gear-pos-norm"] = 0

    sim["gear/unit[0]/pos-norm"] = 0

sim["gear/unit[1]/pos-norm"] = 0

    sim["gear/unit[2]/pos-norm"] = 0

三、比賽用主辦方連線測試程式更新

1.    更新兩機初始相對位置:預設為兩機同高度、同速度，兩機距離以3000、6000、9000ft隨機設定。

2.         依照最新公告之分數計算公式及各權重值更新程式。

3.    依照最新公告之JSBSIM模型F16初始狀態更新程式。

4.    為確保訓練與測試/比賽狀況一致，更新參賽者接收資訊中的accelerations/n-pilot-z-norm變數使其與JSBSIM原值一致(向下為正)。

四、訓練階段軟體訓練程式

1.         JSBSIM模型F16初始狀態更新，詳如第二點。

2.         Reward 更新(AirCombat_Train_Test\envs\jsbsimEnv\ jsbsimEnv.py)

為避免飛到敵機前方，加入以下程式碼:

加上攻擊區間判定距離500~3000ft。

並在step裡加上攻擊達3秒結束此回合，並給予reward加100。

3.         超參數更新

修改gamma值0.996讓模型有更長的預測時間視野，幫助增加飛行動作的完整性。

4.         新增微調程式(Fine_tuning)

微調程式作用是載入預先訓練好的基礎模型，這模型已經在簡單任務(例如基礎敵機追蹤、防墜地等)中收斂。接著透過修改後的初始化環境、更嚴苛的獎勵(reward)或結束條件(Terminated)，並以較小的學習率(Learning Rate)繼續進行梯度更新。這讓Agent能直接在空間中尋找擊落敵機的最佳解，不需要再次學習如何飛行，可大幅縮短探索期的時間，請參照新版「4.訓練階段軟體訓練程式.docx」文件。