港科大（广州）微电子团队成果在国际顶会获奖
近日，由香港科技大学（广州）功能枢纽微电子学域博士生秦乐担任第一作者，博士生崔峻伟、蔡玮林为合作作者，黄嘉逸教授为通讯作者的论文“Chimera: Communication Fusion for Hybrid Parallelism in Large Language Models”发表于计算机体系结构顶会ISCA 2025,并获得Best Artifact Award。
ISCA（International Symposium on Computer Architecture）是计算机体系结构领域的旗舰国际会议，致力于为计算机体系结构研究人员和从业者提供一个展示前沿研究成果的平台。会议涵盖了处理器设计、多核系统、加速器架构、内存层次结构、互连网络、容错机制、计算机系统优化等多个主题。ISCA不仅关注硬件架构创新，还强调系统级优化与软硬件协同设计，是推动高性能计算、分布式系统和人工智能加速器发展的重要学术交流平台。
文章题目
Chimera: Communication Fusion for Hybrid Parallelism in Large Language Models
作者信息
秦乐（第一作者）、崔峻伟（合作作者）、蔡玮林（合作作者）、黄嘉逸（通讯作者）
研究介绍
在大规模语言模型的分布式训练和推理任务中，多种并行模式常被混合使用以提高计算效率。在实现计算加速的同时，各种并行模式都会引入相应的集合通信来进行设备间的数据同步以保证结果的正确性。随着集群规模的增加，集合通信开销逐渐成为系统性能的瓶颈。本工作提出一种全新的优化机制Chimera，定义和分析了混合并行中的通信冗余，并通过融合相邻通信算子的方式消除冗余通信量，有效地缓解了混合并行中的通信瓶颈。
核心创新点
1.混合并行中的通信冗余建模和分析
本工作对大语言模型分布式训练/推理中常见的数据并行、张量并行、序列并行、流水线并行、专家并行的通信模式及数据量进行量化建模，揭示并行模式转换时产生的冗余通信。
2.通信融合机制
本研究提出一种新型通信算子融合技术，将相邻的集合通信合并为更高效的基本通信算子操作，消除冗余数据同步。
基于SCALE-Sim v2和BookSim 2.0的仿真实验和8张RTX4080 GPU的实机测试，结果表明Chimera可实现1.23-7.06倍的混合并行通信带宽加速比，以及1.16-1.58倍的端到端应用加速。本工作已通过ISCA Artifact Evaluation认证，并获得Best Artifact Award。本工作为大语言模型的分布式混合并行提出了一种全新的通信优化机制，可为后续的通信优化工作提供新的参考。
资助致谢
本研究获得国家重点研发计划、国家自然科学基金、港科大（广州）教师启动经费的资助,以及港科大（广州）高性能计算平台（HPC）支持。
第一作者介绍
秦乐，香港科技大学（广州）功能枢纽微电子学域博士研究生，研究方向为互连网络，以及机器学习系统中的通信优化。在加入香港科技大学（广州）之前，他于2022年在南京大学电子科学与工程学院获得本科学位。
指导老师介绍
黄嘉逸，香港科技大学（广州）功能枢纽微电子学域助理教授。此前曾任阿里巴巴达摩院计算技术科学家，并在美国加州圣塔芭芭拉分校从事博士后工作。他分别于浙江大学和美国德州农工大学获得学士和博士学位。其研究工作主要发表于ISCA、MICRO、ASPLOS、HPCA和IEEE TC等计算机体系结构顶级会议和期刊，研究方向为计算机体系结构、互连网络和机器学习系统。
研究介绍
微电子学域通过一流教育、开创性研究和产业合作培养未来的创新者、研究人员和领域专家。
我们完善的课程使学生能够在器件与制造、电路设计、架构与系统以及电子设计自动化方面进行前沿研究。
我们培育创新与合作，始终保持在微电子技术发展的前沿，努力成为全球教育和研究的领导者。
学域亮点
1.课程资源双优渥
微电子专业的课程全部采用国际主流教案，并使用本硕博贯通式教学；开设的50多门专业课程均由博士生导师授课，全面涵盖芯片核心理论、技术和实践的各个分支。微电子专业的博士生导师不仅亲自为本科生授课，还亲自指导本科生毕业设计，并提供芯片前沿研究的机会。
2.海外师资阵容强
微电子专业已吸引了大批芯片专家，于香港科技大学（广州）全职担任博士生导师和教授，包括8位国家级芯片人才、6位省部级芯片人才。所有教授均在美国的普林斯顿大学、哈佛大学、麻省理工和瑞士的苏黎世联邦理工大学等世界一流大学获得博士学位。同时，专家们在学术界和工业界享有卓越声誉，大部分曾在国外就职于三星电子、恩智浦半导体（NXP）、美满电子（Marvell）、新思科技（Synopsys）等世界级芯片企业，长期在重点国际芯片期刊担任编委，并定期组织多项重要国际芯片会议。
3.完备设施创顶尖
香港科技大学（广州）把芯片作为重点发展领域，已建成世界一流的芯片设施，涵盖芯片科研、教学的所有环节，支持学生的学习及科研活动，让学生使用先进的芯片设备研究自己的芯片。
