<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>高性能计算 on 侦探男的网站</title>
        <link>https://szdztn.cn/tags/%E9%AB%98%E6%80%A7%E8%83%BD%E8%AE%A1%E7%AE%97/</link>
        <description>Recent content in 高性能计算 on 侦探男的网站</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh-cn</language>
        <lastBuildDate>Mon, 02 Nov 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://szdztn.cn/tags/%E9%AB%98%E6%80%A7%E8%83%BD%E8%AE%A1%E7%AE%97/index.xml" rel="self" type="application/rss+xml" /><item>
            <title>听图灵奖得主 Jack Dongarra 讲 HPC 的转变</title>
            <link>https://szdztn.cn/academic/hpc-in-transition/</link>
            <pubDate>Mon, 02 Nov 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/academic/hpc-in-transition/</guid>
            <description>&lt;h2 id=&#34;直插现场&#34;&gt;直插现场&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;10 月 30 日，学院官号发了一条推文：2021 年 ACM 图灵奖得主 Jack Dongarra 教授要来学校做学术报告，题目是 &lt;em&gt;HPC in Transition&lt;/em&gt;，也就是“高性能计算的转型与变革”。与我的研究方向很相关，我随即转发到了组内群里，却又补了一句：“可能是面向老师的。”&lt;/p&gt;&#xA;&lt;p&gt;确实，在我的印象里，有些报告面向特定人群，推文里又没有写“欢迎全体师生前来学习交流”。以前也有过好几次，等我在学院微信公众号上看到消息，才知道几天前办过一场报告。&lt;/p&gt;&#xA;&lt;p&gt;导师回了一句：“肯定是面向全校师生的啊。”随后又说：“鼓励大家都去听听，跟咱们工作非常相关。”&lt;/p&gt;&#xA;&lt;p&gt;这下有底气了，我也有了如下判断：&lt;/p&gt;&#xA;&lt;p&gt;​&#x9;本次学术报告面向全体师生，但不是在大会议室进行，提供的座位有限，先到先得。&lt;/p&gt;&#xA;&lt;p&gt;事实证明，我是对的。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;报告题目与内容简介：HPC in Transition&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;162px&#34; data-flex-grow=&#34;67&#34; height=&#34;1888&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E6%8A%A5%E5%91%8A%E9%A2%98%E7%9B%AE.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E6%8A%A5%E5%91%8A%E9%A2%98%E7%9B%AE_hu_4ed3843680c2a45d.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E6%8A%A5%E5%91%8A%E9%A2%98%E7%9B%AE.jpg 1279w&#34; width=&#34;1279&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;报告下午 15:30 开始，但在 14:15—17:25 有连着的新时代课程，而且还是最后一次课：要点名、交纸质作业，还要做小组 PPT 汇报。于是周五晚跟组员商量好替我做PPT的汇报，今天第一节课去签到交作业，14:55下课也是一个闪现到学术报告现场。好巧不巧，刚出电梯就看见一群人在门口，陪同人员正开门带教授准备参观一下，我也就混在其中(讲解员os：好像混进来一个奇怪的东西)。随着时间来到15:30，老师们一个个落座，像我一样是学生身份的应该有接近12个人。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;报告现场的 Jack Dongarra 教授&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing_hu_a5a4ce4411fcb5f.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing_hu_85044f5887415ecf.jpg 1600w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;ai-改变高性能计算&#34;&gt;AI 改变高性能计算&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;这次报告讨论的是：AI 正在怎样改变高性能计算，以及科研和教育应该怎样适应这些变化。下面是我最有感触的几个部分，也穿插了一些自己的理解。&lt;/p&gt;&#xA;&lt;p&gt;Dongarra 长期研究数值线性代数与高性能计算软件，参与了 LINPACK、LAPACK 等软件的开发。&lt;sup id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34; class=&#34;footnote-ref&#34; role=&#34;doc-noteref&#34;&gt;1&lt;/a&gt;&lt;/sup&gt; 报告中，他把高性能计算比作一种“科学仪器”：通过数学建模和计算模拟，帮助人们研究气候、能源、材料、药物等问题。&lt;/p&gt;&#xA;&lt;p&gt;说到超级计算机的性能，经常会碰到 LINPACK。它涉及的是数值线性代数；TOP500 排名使用的 HPL 基准，通过求解稠密线性方程组来衡量系统的双精度浮点计算性能。这里的双精度是 &lt;strong&gt;64 位，也就是 FP64&lt;/strong&gt;。&lt;sup id=&#34;fnref:2&#34;&gt;&lt;a href=&#34;#fn:2&#34; class=&#34;footnote-ref&#34; role=&#34;doc-noteref&#34;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;&#xA;&lt;p&gt;一个离我们很近的例子，是部署在国家超级计算深圳中心的 LineShine（灵晟）。2026 年 6 月 TOP500 公布的 HPL 实测成绩约为 &lt;strong&gt;2.198 EFLOP/s，即每秒 2.198×10¹⁸ 次浮点运算&lt;/strong&gt;。这是特定基准下测得的性能，不能直接当成理论峰值，更不能理解为所有应用都能达到这个速度。&lt;sup id=&#34;fnref:3&#34;&gt;&lt;a href=&#34;#fn:3&#34; class=&#34;footnote-ref&#34; role=&#34;doc-noteref&#34;&gt;3&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;&#xA;&lt;p&gt;这个数量级有多大？如果按 80 亿人、每人每秒做一次运算来粗略换算，要连续算约 8.7 年，才相当于它在这个基准下约一秒的运算量。当然，这只是帮助理解数量级。&lt;/p&gt;&#xA;&lt;p&gt;但机器算得快，应用就一定跑得快吗？&lt;/p&gt;&#xA;&lt;p&gt;在许多使用 GPU 加速的系统里，GPU 承担大量并行数值计算，CPU 也承担调度、控制和部分计算任务。计算单元还得不断获得数据：数据要从内存进入芯片，也可能在 CPU 与 GPU、不同 GPU、不同节点之间传递。数据没到，依赖它的计算就只能等。&lt;/p&gt;&#xA;&lt;p&gt;所以，除了计算能力，还得看数据能不能及时送到、通信与计算能不能重叠，以及供电和散热能否支撑系统运行。具体哪个环节最慢，要看任务和系统；不能一概说所有应用都只受通信限制。&lt;/p&gt;&#xA;&lt;h2 id=&#34;这也太巧了&#34;&gt;这也太巧了&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;这又是一件很巧的事。上周导师的课上，我汇报的题目正是“大模型训练网络：GPU 集群的通信瓶颈”。当时就在讲，GPU 之间怎样交换数据，会直接影响整个训练任务的效率。&lt;/p&gt;&#xA;&lt;p&gt;比如，数据并行需要同步梯度，张量并行需要在层内交换中间结果，流水线并行需要在相邻阶段之间传递数据。即便每张卡都很快，通信结果没有及时到齐，下一步计算仍然可能被卡住。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;课程汇报中的通信需求梳理：不同并行方式带来不同的数据交换&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;477px&#34; data-flex-grow=&#34;199&#34; height=&#34;633&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E9%80%9A%E4%BF%A1%E7%93%B6%E9%A2%88.png&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E9%80%9A%E4%BF%A1%E7%93%B6%E9%A2%88_hu_3a80e19f3fae94c2.png 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E9%80%9A%E4%BF%A1%E7%93%B6%E9%A2%88.png 1260w&#34; width=&#34;1260&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;拿一个夸张的例子来说：假如给我一亿张 A100，能不能一秒钟训练好一个超大模型？显然不能只按卡数去推算。模型能怎样拆分、每一步需要交换多少数据、网络带宽和时延如何，都会限制扩展效率；训练本身也有前后依赖的步骤。&lt;/p&gt;&#xA;&lt;h2 id=&#34;低精度计算&#34;&gt;低精度计算&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;另一个与我近期工作很相关的部分，是低精度计算。&lt;/p&gt;&#xA;&lt;p&gt;许多深度学习模型的主要计算可以归结为密集矩阵运算。它们不一定要求所有步骤都使用 FP64，而是可以根据训练或推理的需要，采用 FP32、FP16、BF16、FP8 等格式，或结合整数与混合精度计算。&lt;/p&gt;&#xA;&lt;p&gt;这里需要分清的是：&lt;strong&gt;低精度减少的是每个数值的表示位数，不意味着算法要做的乘加次数一定变少。&lt;/strong&gt; 它可能减少存储和数据传输的负担，也可能让硬件在相同时间内完成更多运算。但计算中的累加、某些敏感步骤，仍可能需要较高精度。&lt;/p&gt;&#xA;&lt;p&gt;AI 的需求也在影响芯片设计。AI 是由小型矩阵计算驱动的。也就是密集矩阵计算。我们可以看到看到低精度计算正在快速增长。所以 AI 不需要 64 位的算术运算。它们也不需要 32 位。它们实际上需要的运算量要少得多。所以像 NVIDIA 这样的公司，正在制造能进行低精度计算的处理器。并且有个很反常的现象：英伟达的新芯片在 64 位算术运算上比旧芯片运行得更慢。&lt;/p&gt;&#xA;&lt;p&gt;对于科学计算，接下来的问题就更有意思了：能不能让大部分计算使用低精度，再通过必要的高精度计算、误差检查或迭代修正，获得满足要求的结果？&lt;/p&gt;&#xA;&lt;p&gt;这也是我正在关注的低精度研究。不过，数值计算中的误差控制，与语言模型量化后的任务表现，各自的评价方法不一样。&lt;/p&gt;&#xA;&lt;h2 id=&#34;硬件算法和软件协同&#34;&gt;硬件、算法和软件协同&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;报告中还有一个让我印象很深的方向：把矩阵加速能力集成到 CPU 中，再配合高带宽内存，探索不同于独立 GPU 加速器的系统设计。&lt;/p&gt;&#xA;&lt;p&gt;一个很好的例子是国产的龙芯架构，无需GPU，直接将矩阵乘法集成在了芯片内部，以及对应的HBM。以往的架构里，GPU是独立的部件，那就需要写两套程序，开发者需要同时考虑 CPU 与 GPU 上的计算分工，以及不同存储空间之间的数据传输，如果硬件组织方式改变，数据移动和编程的成本也可能随之改变。&lt;/p&gt;&#xA;&lt;h2 id=&#34;近期相关&#34;&gt;近期相关&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;报告中列出了三份相关材料，感兴趣的盆友可以点击阅读：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://bit.ly/no-gpus&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Do We Still Need GPUs? Rethinking AI and Scientific Computing on Future CPUs&lt;/em&gt;&lt;/a&gt;，Jack Dongarra、Torsten Hoefler、Satoshi Matsuoka。&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://doi.org/10.1126/science.aef4214&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Scientific Computing in an AI World&lt;/em&gt;&lt;/a&gt;，Jack Dongarra、Daniel Reed、Dennis Gannon。现场幻灯片标注了这个题名与 DOI；作者主页另提供了一份相关稿件 &lt;a class=&#34;link&#34; href=&#34;https://www.netlib.org/utk/people/JackDongarra/PAPERS/Ride-the-Wave-V5-2.pdf&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Ride the Wave, Build the Future: Scientific Computing in an AI World&lt;/em&gt;&lt;/a&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://bit.ly/china-lineshine&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Report on the Chinese LineShine System&lt;/em&gt;&lt;/a&gt;，Jack Dongarra。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;报告中列出的三份相关材料&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83_hu_8885a8fd0ec19a9b.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83_hu_ca94c5fcfdd7108b.jpg 1600w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;当然，最后也有机会和大佬合照、拿到签名，哈哈哈哈，有种追星成功的感觉。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;与 Jack Dongarra 教授的合照，右侧为小侦形象替换版&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1086&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E5%90%88%E7%85%A7-%E5%B0%8F%E4%BE%A6%E7%89%88.png&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E5%90%88%E7%85%A7-%E5%B0%8F%E4%BE%A6%E7%89%88_hu_88c42c94ad748880.png 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E5%90%88%E7%85%A7-%E5%B0%8F%E4%BE%A6%E7%89%88.png 1448w&#34; width=&#34;1448&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;合照里的我换成了小侦。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;Jack Dongarra 教授留下的电子签名&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;455px&#34; data-flex-grow=&#34;189&#34; height=&#34;750&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E7%94%B5%E5%AD%90%E7%AD%BE%E5%90%8D.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E7%94%B5%E5%AD%90%E7%AD%BE%E5%90%8D_hu_6a66425105f229e8.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E7%94%B5%E5%AD%90%E7%AD%BE%E5%90%8D.jpg 1423w&#34; width=&#34;1423&#34;&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;footnotes&#34; role=&#34;doc-endnotes&#34;&gt;&#xA;&lt;hr&gt;&#xA;&lt;ol&gt;&#xA;&lt;li id=&#34;fn:1&#34;&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.netlib.org/utk/people/JackDongarra/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;Jack Dongarra 作者主页&lt;/a&gt;，列有其研究方向、软件工作与获奖信息。&amp;#160;&lt;a href=&#34;#fnref:1&#34; class=&#34;footnote-backref&#34; role=&#34;doc-backlink&#34;&gt;&amp;#x21a9;&amp;#xfe0e;&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li id=&#34;fn:2&#34;&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.netlib.org/benchmark/hpl/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;HPL 官方说明&lt;/a&gt;，介绍基准求解的问题与 FP64 计算方式。&amp;#160;&lt;a href=&#34;#fnref:2&#34; class=&#34;footnote-backref&#34; role=&#34;doc-backlink&#34;&gt;&amp;#x21a9;&amp;#xfe0e;&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li id=&#34;fn:3&#34;&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.top500.org/lists/top500/2026/06/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;TOP500 2026 年 6 月榜单&lt;/a&gt;，区分 HPL 实测性能 Rmax 与理论峰值 Rpeak。&amp;#160;&lt;a href=&#34;#fnref:3&#34; class=&#34;footnote-backref&#34; role=&#34;doc-backlink&#34;&gt;&amp;#x21a9;&amp;#xfe0e;&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;/div&gt;&#xA;</description>
        </item></channel>
</rss>
