報 告 人 :楊紹富
報告題目:通信高效的分布式優化算法設計與分析
報告時間:2023年11月16日(周四)上午09:00
報告地點:靜遠樓908
主辦單位:智慧教育學院(計算機科學與技術學院) 、科學技術研究院
報告人簡介:
楊紹富,東南大學計算機科學與工程學院、軟件學院、人工智能學院副教授、博士生導師、副院長。于2016年在香港中文大學機械與自動化工程系獲得博士學位。主要從事分布式優化與博弈、多智能體學習等領域研究工作,在IEEE/ACM Transactions系列等國際期刊發表論文20余篇,其中3篇曾入選ESI高被引論文。擔任中國人工智能學會機器學習專委會通訊委員、CCF-AI多智能體系統學組執行委員、ECAI/AAAI等會議SPC或PC。主持國家級自然科學基金青年/面上項目、江蘇省自然科學基金青年項目等。入選中國科協青年人才托舉工程、江蘇省333高層次人才培養工程(第三層次)、中組部第九批援藏干部等。
報告摘要:
分布式優化算法在聯邦學習、集群控制、群體決策等領域均有著廣泛的應用。通信成本是制約其發展的主要瓶頸之一。然而,現有通信高效的優化算法往往聚焦于一階情形,鮮有考慮二階情形。相比于一階優化算法,二階優化算法通過利用曲率信息往往可以獲得更快的收斂速度,但需要估計全局 Hessian 矩陣,這又帶來了巨大的通信代價。為了提升算法收斂速度的同時提升通信效率,我們基于ADMM算法,結合目標函數二階近似、事件觸發通信機制和壓縮通信機制,提出了一類通信高效的二階優化算法,并在理論上證明了當目標函數滿足強凸且光滑時,所提出的算法能夠線性收斂到最優解。最后,在數值實驗中,通過與現有算法的對比驗證了所提出算法的高效性。