联系我们

新加坡国立大学尤洋教授来访

2021-10-20

1018日,新加坡国立大学计算机系校长青年教授尤洋到访国家超级计算深圳中心,并做题为‘Maximizing Parallelism in Distributed Training for Huge Neural Networks’的主题报告,分享团队关于大规模深度学习分布式训练的研究成果。


随着大数据和人工智能(AI)技术在各行业中的深入应用,AI模型的规模日渐变大,对应的参数维数也大幅增加,所需算力呈指数上升,如何降低能耗和训练成本,成为高性能计算领域的重要研究课题 

尤洋教授介绍了其团队基于数据并行(Data Parallelism),流水线并行(Pipeline Parallelism)以及模式并行(Tensor Parallelism)改进的算法,通过2维网格参数划分、3维立体参数划分以及2.5维通信最小化参数划分,减小通讯开销,极大地提升了计算效率。另外,对于大图片、长文本以及长视频等的处理,提出了序列并行(Sequence Parallelism)的概念,并且通过实验验证当批尺寸(batch size)很大以及序列很长时,序列并行算法显著降低内存开销。这些算法在工业界被广泛应用。 

尤洋博士,毕业于加州大学伯克利分校计算机系,现任新加坡国立大学计算机系的校长青年教授。他曾创造ImageNet以及BERT训练速度的世界纪录,研究成果发表于NIPSICLRSupercomputingIPDPSICS等国际重要会议或期刊。2021年入选福布斯30岁以下精英榜(亚洲)并获得IEEE-CS超算杰出新人奖。研究兴趣包括高性能计算、并行算法以及机器学习。


国家超级计算深圳中心于2009年获国家科技部批准成立,是深圳建市以来规模最大的国家级重大科技创新基础设施,是深圳先行示范区的创新名片。超算中心坚持以技术为引领、以市场为导向、以品质为追求、以服务为根本,在科学计算、工程计算、生物医药、动漫渲染、海洋石油等领域支持国家科技创新,成果卓著。深圳超算是世界上最早布局云计算、大数据、人工智能的超算中心之一,建立之初,联合相关企事业单位,开展智慧城市等方面技术创新与服务。深圳公安云已经在为每一位市民保驾护航,深圳健康云正在努力削平医疗资源和服务的不均衡,深圳教育云将让中学生来揭示AI的奥秘。目前中心云计算、大数据和人工智能机构用户超过2万家,个人用户超过1200万人。

诚聘英才
友好链接
业务咨询及参观访问:0755-86576085    0755-86576086    地址:深圳市南山区笃学路9号
国家超级计算深圳中心(深圳云计算中心)  ©2014-2020  粤ICP备10220126号