近日，在全球矚目的AAMAS 2024 Computational Economics Competition（計算經(jīng)濟學(xué)挑戰(zhàn)賽）上，卓世科技人工智能前沿實驗室團隊“Zhuoshi Technology AI Cutting-edge Laboratory”一舉奪得兩個核心賽道的冠軍和亞軍，展現(xiàn)出其在計算經(jīng)濟學(xué)和人工智能領(lǐng)域的強大競爭力。
冠軍證書
亞軍證書
AAMAS 2024 是第23屆國際自主智能體和多智能體系統(tǒng)會議（International Conference on Autonomous Agents and Multiagent Systems），這是智能體技術(shù)和多智能體系統(tǒng)領(lǐng)域內(nèi)最大和最有影響力的會議之一。它匯集了來自世界各地的研究人員和實踐者，共同探討和分享該領(lǐng)域內(nèi)最新的研究成果和發(fā)展動態(tài)。本次計算經(jīng)濟學(xué)挑戰(zhàn)賽 (AAMAS 2024 CE competition) 旨在推動 AI for economics 的領(lǐng)域研究。
AAMAS 2024 CE Competition
本次比賽由中國科學(xué)院自動化研究所主辦，吸引了來自中科大、南大、人大、愛丁堡、布里斯托、俄勒岡等海內(nèi)外眾多學(xué)術(shù)和科研機構(gòu)的隊伍。
本次競賽的賽題為智能稅收 (Optimal Tax) 問題，比賽設(shè)置兩個賽道：
賽道一：智能稅收-政府 挑戰(zhàn)賽—— 模擬政府角色，調(diào)控稅率和政府支出，最大化GDP和平衡財富分配。
賽道二：智能稅收-個人挑戰(zhàn)賽—— 模擬個人角色，調(diào)整工作時間和投資比例，最大化個人利益。
來自卓世科技的隊伍“Zhuoshi Technology AI Cutting-edge Laboratory”首次參賽，分別拿下兩賽道冠亞軍。卓世科技人工智能前沿實驗室團隊致力于AI大模型前沿技術(shù)的研究，目前已經(jīng)在Multi-Agent、模型量化壓縮、MoE方向取得了重要突破。
難點和挑戰(zhàn)：
此次競賽的難點和挑戰(zhàn)在于，所面臨的對手策略未知，需要訓(xùn)練智能體，能應(yīng)對不同的對手策略，因此卓世科技設(shè)計了一種MARL+進化的訓(xùn)練框架。在該框架中，每類智能體（政府或家庭）維持一個長期策略池和短期策略池，長期策略池中保存歷史策略參數(shù)（每隔50輪訓(xùn)練保存一次模型），短期策略池中維持最好的20個策略，具體而言，我們通過隨機匹配對手，進行大量測試，挑選出top20的策略參數(shù)。長期策略池中維持了多種多樣的策略，用于訓(xùn)練top20策略，使其具有魯棒性。
在正賽1中，我們訓(xùn)練完成后，我們從top20的短期策略池中選取平均得分最高的策略作為提交比賽的智能體。在正賽2中，短期策略池中仍然維持top20的策略參數(shù)，與階段1不同，我們從top20中再次進行對抗測試，從中選出top12的策略參數(shù)，與階段1中的策略參數(shù)進行集成。我們嘗試從這十幾個策略中選擇一部分進行集成。對于政府，我們選擇10個策略，而對于家庭，我們選擇12個策略。每個策略輸出自己的動作，然后去掉一個最大值，去掉一個最小值，然后對剩下的動作取平均，以此作為最終的策略。主要是為了提高策略的魯棒性。
領(lǐng)先35%強勢奪冠：
卓世團隊迎難而上，憑借以下技術(shù)方案亮點，在競賽中脫穎而出，以領(lǐng)先第二名35個百分點的成績強勢奪冠！
- 策略網(wǎng)絡(luò)架構(gòu)：采用Actor-Critic框架，Actor使用部分可觀測狀態(tài)，Critic包括全局狀態(tài)。
- 訓(xùn)練算法：采用MATD3算法，集中式訓(xùn)練和分布式執(zhí)行。
- 策略集成：挑選top K策略進行集成，提高模型魯棒性。
策略網(wǎng)絡(luò)架構(gòu)上，卓世科技采用經(jīng)典的Actor-Critic框架，其中Actor僅使用部分可觀測的狀態(tài)，Critic包括所有智能體部分觀察和全局狀態(tài)。為了緩解部分可觀測問題，我們將歷史4步的狀態(tài)進行合并，具體而言，我們將每步的特征向量進行非線性變換，之后進行拼接，這類似于時空卷積結(jié)構(gòu)，如圖1所示。在訓(xùn)練算法上，我們采用了MATD3，這是一種改進MADDPG的算法，每次狀態(tài)Q值估計都會輸出兩個值，并使用最小值作為目標Q值，這有利于緩解狀態(tài)價值得過估計問題。訓(xùn)練上采用集中式訓(xùn)練和分布式執(zhí)行，訓(xùn)練完成的Critic網(wǎng)絡(luò)不再使用，Actor網(wǎng)絡(luò)根據(jù)局部觀察進行動作輸出。
圖 5 Actor和Critic網(wǎng)絡(luò)結(jié)構(gòu)
在訓(xùn)練完成的top K策略池中，我們挑選出最好的N個模型進行策略集成，以提高模型對位置策略的魯棒性，如圖2所示。
圖 6 策略集成
綜合以上策略，在賽道二，卓世團隊以2845.58分、領(lǐng)先第二名35個百分點的成績強勢問鼎冠軍！該得分是綜合考慮家庭端工作時長和消費的表現(xiàn)，并與多只參賽隊伍PK的最終得出。在賽道一，團隊以1個百分點微弱之差奪得亞軍！該得分是綜合考慮政府端gdp增長率和貧富差距的基尼指數(shù)表現(xiàn)。團隊在賽道一和賽道二取的成績，得益于自主研發(fā)的分布式訓(xùn)練框架，在短時間內(nèi)可與多樣性的智能體進行對抗，學(xué)習(xí)足夠魯棒的策略模型， 體現(xiàn)團隊在Multi-Agent方向擁有較強的技術(shù)儲備和實戰(zhàn)能力。
卓世科技CEO屠靜賽后表示：“我們以卓越的AI技術(shù)實力和創(chuàng)新精神，在全球計算經(jīng)濟學(xué)領(lǐng)域舞臺上贏得了榮譽，向全世界展現(xiàn)了中國AI力量的崛起。卓世科技將持續(xù)引領(lǐng)AI產(chǎn)業(yè)化落地，不斷創(chuàng)新變革，助力各行各業(yè)找到真正的商業(yè)應(yīng)用場景。我們致力于成為行業(yè)模型服務(wù)的領(lǐng)導(dǎo)者，與合作伙伴共同推進中國產(chǎn)業(yè)AI的落地化進程。”
京公網(wǎng)安備 11010502049343號