先进计算研讨会是华为-清华大学新型计算联合创新实验室主题论坛，暨清华大学协同智能团队开门学术论坛。联合创新实验室聚焦稀疏计算、近存和存内计算，光计算等先进计算技术、架构和系统研究。本次论坛主题聚焦大模型、稀疏计算、科学计算融合等广泛人工智能场景的下的计算挑战，邀请了相关领域的8位优秀学者做专题报告。本次研讨会将于2023年3月9日在清华大学电子工程馆11层举行。
会议信息：
会议时间：2023年3月9日（周四）09:00-17:20
会议地点：清华大学电子工程馆11层报告厅
会议报名：扫描见文章底部二维码报名
会议直播：小鹅通直播平台（直播入口见底部）
嘉宾简介
高鸣宇丨清华大学交叉信息研究院助理教授，博士生导师
题目：Making Hardware Adaptive to Irregular Computation: Sparse Matrix Acceleration & Near-Data Processing
摘要：Sparse computations on matrix/tensor data are widely used in deep learning and graph applications, but efficiently supporting sparse computations on existing systems is challenging due to irregular data distribution and poor access locality. We argue that, since the irregular data distribution is difficult to predict beforehand, it would be necessary to make the hardware architecture aware of and dynamically adaptive to the specific workload at runtime. We present two example designs in this talk. The first one is a sparse matrix accelerator that uses adaptive dataflow based on data sparsity patterns. The second one is a near-data processing system that co-optimizes remote access and load imbalance issues. These two designs are both published in ASPLOS 2023.
个人简介：高鸣宇，清华大学交叉信息研究院助理教授，博士生导师。博士毕业于美国斯坦福大学电子工程系。研究方向为计算机体系结构与系统，尤其关注针对人工智能和大数据分析等数据密集型应用的新型存储架构、专用计算系统、硬件系统安全等方面。已发表多篇国际顶级学术会议（ISCA、ASPLOS、HPCA、OSDI、PACT等）论文，曾获得IEEE Micro 2016年度计算机系统结构最佳论文奖（Top Picks）、欧洲HiPEAC论文奖、福布斯中国2019年30 Under 30等荣誉。他也是MICRO、ASPLOS、ISCA等多个会议的TPC和ERC委员会成员。
贾伟乐丨中国科学院计算技术研究所副研究员，博士生导师
题目：稀疏矩阵求解器在神威超级计算机上的优化
摘要：从原子尺度出发的微观科学计算面临着方法和效率的挑战。科学智能的发展，尤其是高性能计算与人工智能方法的结合为其注入了新的活力。本次报告将介绍我们组内相关领域的一些工作，重点介绍领域专用的稀疏矩阵求解器的工作，该工作在新一代神威超级计算机上达到64PFLOPS(峰值效率5%)。入围了2022年戈登贝尔奖。最后介绍这一领域目前的挑战。
个人简介：贾伟乐，中国科学院计算技术研究所副研究员，博士生导师。致力于智能科学计算（HPC+AI）研究，其参与研发的高性能深度学习分子动力学软件，比同类型软件效率提高3个数量级，被广泛应用（软件被用户应用在Nature, Science, PRL上发表文章）。以第一作者获2020年高性能计算戈登贝尔奖，入选2020年两院院士评选的中国十大科技进展新闻。2022年领域专用稀疏矩阵求解器工作入围戈登贝尔奖。
黄民烈丨清华大学计算机科学与技术系长聘副教授
题目：从ChatGPT看大模型的挑战和机会
个人简介：黄民烈，清华大学计算机科学与技术系长聘副教授，国家杰出青年科学基金获得者，计算机系智能技术与系统实验室副主任，中文信息学会自然语言生成与智能写作专委会副主任委员，CCF学术工委秘书长，中文信息学会理事。研发对话系统平台ConvLab、ConvLab2，世界上最大的开源中文开放域对话模型EVA、OPD，研发情感聊天机器人Cmohaa等。担任顶级期刊TNNLS、TACL、CL、TBD编委，多次担任自然语言处理领域顶级会议ACL/EMNLP资深领域主席。
黄文炳丨中国人民大学高瓴人工智能学院助理教授、博士生导师
题目：Geometric GNN for Science
摘要：本报告从对称性的角度，梳理当前以图神经网络为代表的几何机器学习的发展脉络，并介绍其在物理系统模拟、药物小分子设计、蛋白质建模等科学任务上的典型应用案例。
个人简介：黄文炳，中国人民大学高瓴人工智能学院助理教授、博导。研究方向包括几何机器学习理论方法、几何机器学习在机器人感知与决策任务上的应用、科学知识嵌入的机器学习等。
李士刚丨北京邮电大学计算机学院教授，博士生导师
题目：Magicube：一种张量处理器上高性能量化稀疏矩阵算法库
摘要：模型大小的指数级增长推动了深度学习的持续成功，但这却带来了令人望而却步的计算和内存成本。从算法的角度来看，已经有研究工作通过模型稀疏化和量化来缓解上述问题。从处理器架构的角度来看，硬件供应商提供了张量计算核心（Tensor Core）来加速不断增长的工作负载。然而，由于对数据布局的严格要求和缺乏高效的低精度整型数据集结操作，让低精度稀疏矩阵运算在张量计算核心上获得实际加速是非常具有挑战性的。为此，我们研发了Magicube。Magicube是一个张量计算核心上的高性能低精度整型稀疏矩阵运算库。Magicube支持深度学习中 SpMM 和 SDDMM两种主要的稀疏矩阵运算，同时支持混合精度。通过在 NVIDIA A100 GPU 上对1536个不同稀疏矩阵的性能测试表明，相比商业优化的稀疏矩阵库，Magicube平均获得1.44 倍（最高 2.37 倍）加速比。在端到端稀疏 Transformer 推理中，Magicube相比最新工作获得1.43倍加速比而无明显准确度损失。
个人简介：李士刚，北京邮电大学计算机学院(国家示范性软件学院)，教授，博士生导师，CCF及ACM高级会员，获评CCF高性能计算“卓越青年”。主要研究方向为高性能深度学习系统、并行与分布式计算、异构计算等领域。第一作者论文多次获SC、PPoPP、HPDC等顶会的最佳论文奖提名，获MLSys'21杰出论文奖、SC'22最佳结果复现奖。受邀担任SC、PPoPP、IPDPS等权威会议TPC委员30余次，ICS'18研讨会主席，IISWC'20出版主席，PPoPP'23宣传主席，Cluster Computing编委, CCF THPC青年编委。
戴国浩丨上海交通大学长聘教轨副教授
题目：广泛人工智能场景快速高能效稀疏计算
摘要：人工智能快速发展，而支撑人工智能算法的计算平台却面临算力激增与能耗受限的挑战。过去十年，得益于定制加速、新兴器件等技术，神经网络处理器快速发展。然而，随着人工智能在更广泛场景的应用与落地，算法所处理的模型与数据体现出稀疏特性。这些稀疏的模型与数据展现出来了不规则的非结构化特征，这与传统面向稠密数据与模型设计的硬件电路的结构化特征不一致。算法非结构化与硬件结构化特征不一致，导致典型稀疏算法（如图计算）在传统硬件（如CPU）上处理性能与应用需求相差3个数量级。我们通过提出结构化这一核心思想，在计算流图、并行算子、硬件架构三个层面从算法到电路进行结构化映射，最终将稀疏图算法出来性能提升2~3个数量级。面向广泛人工智能场景，我们进一步将上述结构化思想扩展为算法映射电路组织化，电路支撑算法阵列化，以及算法与电路基于特征规则化的协同优化，并形成一系列快速高能效的稀疏计算系统与架构设计。相关工作形成开源项目dgSPARSE（Deep Graph Sparse），已经支撑图神经网络、图数据挖掘、自动驾驶等应用领域。图神经网络系统设计实现换到超车，突破高端工艺限制，可以在中端工艺GPU上取得超越高端工艺GPU更好性能，并已在开源框架（如PyG）中集成。未来，我们将继续开展广泛人工智能场景下快速高能效稀疏计算的系统与芯片研究，支撑人工智能向下一个时代的发展与进步。
个人简介：戴国浩，博士，上海交通大学长聘教轨副教授，清源研究院定制计算中心（CCC，Customized Computing Center）Co-PI，人工智能设计自动化创新实验室（DAI Group，Domain-specific Artificial Intelligence & Design Automation Innovation Group）负责人。分别于2014年和2019年在清华大学电子工程系获得工学学士和博士学位，发表电路设计自动化、异构计算、体系架构等领域高水平国际期刊、会议论文30余篇，谷歌学术施引800余次。发表论文荣获ASP-DAC 2019 最佳论文奖，DATE 2023/DAC 2022/DATE 2018最佳论文提名，WAIC 2022优秀青年论文奖。个人曾获WAIC 2022云帆奖、NeurIPS21 BIGANN竞赛全球冠军、北京市优秀博士毕业生、清华大学优秀博士毕业生、清华大学优秀博士毕业论文等荣誉。戴教授曾参与指导学生获ACM 2021 SRC全球第三，MICRO 2020 SRC全球第一。作为项目负责人，戴教授承担了包括国家自然科学基金青年项目等在内的多项纵横向项目。
贾弘洋丨清华大学电子工程系助理教授
题目：近似存算一体技术及其系统集成
摘要：人工智能应用的蓬勃发展对计算设备的运算能力提出了前所未有的需求。存算一体作为有望突破“存储墙“限制的新兴计算技术，可以大幅提升高维矩阵乘法的运算效率。许多存算一体技术都应用了近似计算的概念。然而，我们如何才能使得存算一体架构在满足计算精度和灵活性需求的同时，仍能在系统层面保持其能效与速度的提升？本报告将对存算一体架构所面临的可靠性、可重构性和可扩展性上的挑战，基于从芯片到顶层软件栈的跨层次协同设计与原型实现，进行分析与讨论。我们将介绍高信噪比SRAM混合信号存算一体电路和数字近似计算存算一体电路的抽象模型，并在此基础上展示基于架构与软件映射协同优化的可扩展存算一体神经网络加速器。
个人简介：贾弘洋，博士，于2014年在清华大学微纳电子学系获得学士学位，并于2016年和2021年在美国普林斯顿大学电子与计算机工程系获得硕士与博士学位。随后在普林斯顿大学和英伟达研究院担任博士后研究员，并于2022年8月加入清华大学电子工程系任助理教授。研究重点为新兴计算技术及其与大规模集成电路和体系架构的融合优化，涵盖近似计算、存算一体等方向。在ISSCC、JSSC、VLSI、Hot Chips等集成电路领域顶级会议与期刊上发表多篇论文。担任ICCAD、JSSC等多个IEEE系列会议、期刊技术委员会委员和审稿人。
李懋坤丨清华大学电子工程系微波与天线研究所副教授
题目：深度学习技术在计算电磁学中的应用初探
摘要：近年来，深度学习方法引起了广泛的关注，以大数据，大规模并行计算，快速优化算法为基础，深度学习方法极大的提高了语音和图像领域很多问题的求解性能。在本报告中，报告人希望与大家一起探讨在计算电磁学领域应用深度学习方法的可行性。计算电磁学的研究一直偏重于用数值方法对物理规律进行高精度诠释，因此，物理定律一直在研究中占主导地位。随着深度学习技术的发展，不断提高的学习能力有可能让机器从大量的物理数据中“学习”并“掌握”物理定律，从而在一些可控边界条件下较好的解译物理现象。从长远来看，基本物理原理与来自大数据的“知识”的有机结合，有可能为我们解决某些工程问题提供一种新的思路。希望通过方程求解，阵列天线综合，电磁建模，电磁成像等方面的一些初步研究，与大家共同探讨深度学习方法在计算电磁学领域应用的特点、可行性与面临的挑战。
个人简介：李懋坤，清华大学电子工程系微波与天线研究所，副教授，国际应用计算电磁学会会士。2002 年毕业于清华大学电子工程系，获得工学学士学位。2007 在毕业于美国伊利诺伊大学并获得电机与计算机工程博士学位。毕业后在美国斯伦贝谢公司道尔研究所工作，先后担任博士后研究员，研究员，高级研究员。于2014 年6 月加入清华大学电子工程系，主要研究方向为电磁场理论和计算电磁学，已发表或合作发表期刊论文90多篇，会议论文150 多篇，并已申请10项发明专利。他担任了IEEE Transactions on Geosceince and Remote Sensing和IEEE Transactions on Antennas and Propagation 的编委，IEEE天线与传播学会杰出报告人（2023-2025）。他还获得了伊利诺伊大学Yuen T. Lo 杰出研究奖，Henry Ford II 学者奖，2017 年IEEE Ulrich L. Rohde 创新会议论文奖，2019年PIERS青年科学家奖等奖项。
扫描下方二维码进行报名
扫描下方二维码预约观看直播
