港科大（廣州）微電子團隊成果在國際頂會獲獎
近日，由香港科技大學（廣州）功能樞紐微電子學域博士生秦樂擔任第一作者，博士生崔峻偉、蔡瑋林為合作作者，黃嘉逸教授為通訊作者的論文「Chimera: Communication Fusion for Hybrid Parallelism in Large Language Models」發表於計算機體系結構頂會ISCA 2025,並獲得Best Artifact Award。
ISCA（International Symposium on Computer Architecture）是計算機體系結構領域的旗艦國際會議，致力於為計算機體系結構研究人員和從業者提供一個展示前沿研究成果的平台。會議涵蓋了處理器設計、多核系統、加速器架構、內存層次結構、互連網絡、容錯機制、計算機系統優化等多個主題。ISCA不僅關注硬件架構創新，還強調系統級優化與軟硬件協同設計，是推動高性能計算、分佈式系統和人工智能加速器發展的重要學術交流平台。
文章題目
Chimera: Communication Fusion for Hybrid Parallelism in Large Language Models
作者信息
秦樂（第一作者）、崔峻偉（合作作者）、蔡瑋林（合作作者）、黃嘉逸（通訊作者）
研究介紹
在大規模語言模型的分佈式訓練和推理任務中，多種並行模式常被混合使用以提高計算效率。在實現計算加速的同時，各種並行模式都會引入相應的集合通信來進行設備間的數據同步以保證結果的正確性。隨着集群規模的增加，集合通信開銷逐漸成為系統性能的瓶頸。本工作提出一種全新的優化機制Chimera，定義和分析了混合併行中的通信冗餘，並通過融合相鄰通信算子的方式消除冗餘通信量，有效地緩解了混合併行中的通信瓶頸。
核心創新點
1.混合併行中的通信冗餘建模和分析
本工作對大語言模型分佈式訓練/推理中常見的數據並行、張量並行、序列並行、流水線並行、專家並行的通信模式及數據量進行量化建模，揭示並行模式轉換時產生的冗餘通信。
2.通信融合機制
本研究提出一種新型通信算子融合技術，將相鄰的集合通信合併為更高效的基本通信算子操作，消除冗餘數據同步。
基於SCALE-Sim v2和BookSim 2.0的仿真實驗和8張RTX4080 GPU的實機測試，結果表明Chimera可實現1.23-7.06倍的混合併行通信帶寬加速比，以及1.16-1.58倍的端到端應用加速。本工作已通過ISCA Artifact Evaluation認證，並獲得Best Artifact Award。本工作為大語言模型的分佈式混合併行提出了一種全新的通信優化機制，可為後續的通信優化工作提供新的參考。
資助致謝
本研究獲得國家重點研發計劃、國家自然科學基金、港科大（廣州）教師啟動經費的資助,以及港科大（廣州）高性能計算平台（HPC）支持。
第一作者介紹
秦樂，香港科技大學（廣州）功能樞紐微電子學域博士研究生，研究方向為互連網絡，以及機器學習系統中的通信優化。在加入香港科技大學（廣州）之前，他於2022年在南京大學電子科學與工程學院獲得本科學位。
指導老師介紹
黃嘉逸，香港科技大學（廣州）功能樞紐微電子學域助理教授。此前曾任阿里巴巴達摩院計算技術科學家，並在美國加州聖塔芭芭拉分校從事博士後工作。他分別於浙江大學和美國德州農工大學獲得學士和博士學位。其研究工作主要發表於ISCA、MICRO、ASPLOS、HPCA和IEEE TC等計算機體系結構頂級會議和期刊，研究方向為計算機體系結構、互連網絡和機器學習系統。
研究介紹
微電子學域通過一流教育、開創性研究和產業合作培養未來的創新者、研究人員和領域專家。
我們完善的課程使學生能夠在器件與製造、電路設計、架構與系統以及電子設計自動化方面進行前沿研究。
我們培育創新與合作，始終保持在微電子技術發展的前沿，努力成為全球教育和研究的領導者。
學域亮點
1.課程資源雙優渥
微電子專業的課程全部採用國際主流教案，並使用本碩博貫通式教學；開設的50多門專業課程均由博士生導師授課，全面涵蓋芯片核心理論、技術和實踐的各個分支。微電子專業的博士生導師不僅親自為本科生授課，還親自指導本科生畢業設計，並提供芯片前沿研究的機會。
2.海外師資陣容強
微電子專業已吸引了大批芯片專家，於香港科技大學（廣州）全職擔任博士生導師和教授，包括8位國家級芯片人才、6位省部級芯片人才。所有教授均在美國的普林斯頓大學、哈佛大學、麻省理工和瑞士的蘇黎世聯邦理工大學等世界一流大學獲得博士學位。同時，專家們在學術界和工業界享有卓越聲譽，大部分曾在國外就職於三星電子、恩智浦半導體（NXP）、美滿電子（Marvell）、新思科技（Synopsys）等世界級芯片企業，長期在重點國際芯片期刊擔任編委，並定期組織多項重要國際芯片會議。
3.完備設施創頂尖
香港科技大學（廣州）把芯片作為重點發展領域，已建成世界一流的芯片設施，涵蓋芯片科研、教學的所有環節，支持學生的學習及科研活動，讓學生使用先進的芯片設備研究自己的芯片。
