<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>侦探男的网站</title>
        <link>https://szdztn.cn/</link>
        <description>Recent content on 侦探男的网站</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh-cn</language>
        <lastBuildDate>Mon, 02 Nov 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://szdztn.cn/index.xml" rel="self" type="application/rss+xml" /><item>
            <title>听图灵奖得主 Jack Dongarra 讲 HPC 的转变</title>
            <link>https://szdztn.cn/academic/hpc-in-transition/</link>
            <pubDate>Mon, 02 Nov 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/academic/hpc-in-transition/</guid>
            <description>&lt;h2 id=&#34;直插现场&#34;&gt;直插现场&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;10 月 30 日，学院官号发了一条推文：2021 年 ACM 图灵奖得主 Jack Dongarra 教授要来学校做学术报告，题目是 &lt;em&gt;HPC in Transition&lt;/em&gt;，也就是“高性能计算的转型与变革”。与我的研究方向很相关，我随即转发到了组内群里，却又补了一句：“可能是面向老师的。”&lt;/p&gt;&#xA;&lt;p&gt;确实，在我的印象里，有些报告面向特定人群，推文里又没有写“欢迎全体师生前来学习交流”。以前也有过好几次，等我在学院微信公众号上看到消息，才知道几天前办过一场报告。&lt;/p&gt;&#xA;&lt;p&gt;导师回了一句：“肯定是面向全校师生的啊。”随后又说：“鼓励大家都去听听，跟咱们工作非常相关。”&lt;/p&gt;&#xA;&lt;p&gt;这下有底气了，我也有了如下判断：&lt;/p&gt;&#xA;&lt;p&gt;​&#x9;本次学术报告面向全体师生，但不是在大会议室进行，提供的座位有限，先到先得。&lt;/p&gt;&#xA;&lt;p&gt;事实证明，我是对的。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;报告题目与内容简介：HPC in Transition&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;162px&#34; data-flex-grow=&#34;67&#34; height=&#34;1888&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E6%8A%A5%E5%91%8A%E9%A2%98%E7%9B%AE.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E6%8A%A5%E5%91%8A%E9%A2%98%E7%9B%AE_hu_4ed3843680c2a45d.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E6%8A%A5%E5%91%8A%E9%A2%98%E7%9B%AE.jpg 1279w&#34; width=&#34;1279&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;报告下午 15:30 开始，但在 14:15—17:25 有连着的新时代课程，而且还是最后一次课：要点名、交纸质作业，还要做小组 PPT 汇报。于是周五晚跟组员商量好替我做PPT的汇报，今天第一节课去签到交作业，14:55下课也是一个闪现到学术报告现场。好巧不巧，刚出电梯就看见一群人在门口，陪同人员正开门带教授准备参观一下，我也就混在其中(讲解员os：好像混进来一个奇怪的东西)。随着时间来到15:30，老师们一个个落座，像我一样是学生身份的应该有接近12个人。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;报告现场的 Jack Dongarra 教授&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing_hu_a5a4ce4411fcb5f.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing_hu_85044f5887415ecf.jpg 1600w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E8%AE%AEing.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;ai-改变高性能计算&#34;&gt;AI 改变高性能计算&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;这次报告讨论的是：AI 正在怎样改变高性能计算，以及科研和教育应该怎样适应这些变化。下面是我最有感触的几个部分，也穿插了一些自己的理解。&lt;/p&gt;&#xA;&lt;p&gt;Dongarra 长期研究数值线性代数与高性能计算软件，参与了 LINPACK、LAPACK 等软件的开发。&lt;sup id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34; class=&#34;footnote-ref&#34; role=&#34;doc-noteref&#34;&gt;1&lt;/a&gt;&lt;/sup&gt; 报告中，他把高性能计算比作一种“科学仪器”：通过数学建模和计算模拟，帮助人们研究气候、能源、材料、药物等问题。&lt;/p&gt;&#xA;&lt;p&gt;说到超级计算机的性能，经常会碰到 LINPACK。它涉及的是数值线性代数；TOP500 排名使用的 HPL 基准，通过求解稠密线性方程组来衡量系统的双精度浮点计算性能。这里的双精度是 &lt;strong&gt;64 位，也就是 FP64&lt;/strong&gt;。&lt;sup id=&#34;fnref:2&#34;&gt;&lt;a href=&#34;#fn:2&#34; class=&#34;footnote-ref&#34; role=&#34;doc-noteref&#34;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;&#xA;&lt;p&gt;一个离我们很近的例子，是部署在国家超级计算深圳中心的 LineShine（灵晟）。2026 年 6 月 TOP500 公布的 HPL 实测成绩约为 &lt;strong&gt;2.198 EFLOP/s，即每秒 2.198×10¹⁸ 次浮点运算&lt;/strong&gt;。这是特定基准下测得的性能，不能直接当成理论峰值，更不能理解为所有应用都能达到这个速度。&lt;sup id=&#34;fnref:3&#34;&gt;&lt;a href=&#34;#fn:3&#34; class=&#34;footnote-ref&#34; role=&#34;doc-noteref&#34;&gt;3&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;&#xA;&lt;p&gt;这个数量级有多大？如果按 80 亿人、每人每秒做一次运算来粗略换算，要连续算约 8.7 年，才相当于它在这个基准下约一秒的运算量。当然，这只是帮助理解数量级。&lt;/p&gt;&#xA;&lt;p&gt;但机器算得快，应用就一定跑得快吗？&lt;/p&gt;&#xA;&lt;p&gt;在许多使用 GPU 加速的系统里，GPU 承担大量并行数值计算，CPU 也承担调度、控制和部分计算任务。计算单元还得不断获得数据：数据要从内存进入芯片，也可能在 CPU 与 GPU、不同 GPU、不同节点之间传递。数据没到，依赖它的计算就只能等。&lt;/p&gt;&#xA;&lt;p&gt;所以，除了计算能力，还得看数据能不能及时送到、通信与计算能不能重叠，以及供电和散热能否支撑系统运行。具体哪个环节最慢，要看任务和系统；不能一概说所有应用都只受通信限制。&lt;/p&gt;&#xA;&lt;h2 id=&#34;这也太巧了&#34;&gt;这也太巧了&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;这又是一件很巧的事。上周导师的课上，我汇报的题目正是“大模型训练网络：GPU 集群的通信瓶颈”。当时就在讲，GPU 之间怎样交换数据，会直接影响整个训练任务的效率。&lt;/p&gt;&#xA;&lt;p&gt;比如，数据并行需要同步梯度，张量并行需要在层内交换中间结果，流水线并行需要在相邻阶段之间传递数据。即便每张卡都很快，通信结果没有及时到齐，下一步计算仍然可能被卡住。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;课程汇报中的通信需求梳理：不同并行方式带来不同的数据交换&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;477px&#34; data-flex-grow=&#34;199&#34; height=&#34;633&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E9%80%9A%E4%BF%A1%E7%93%B6%E9%A2%88.png&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E9%80%9A%E4%BF%A1%E7%93%B6%E9%A2%88_hu_3a80e19f3fae94c2.png 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E9%80%9A%E4%BF%A1%E7%93%B6%E9%A2%88.png 1260w&#34; width=&#34;1260&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;拿一个夸张的例子来说：假如给我一亿张 A100，能不能一秒钟训练好一个超大模型？显然不能只按卡数去推算。模型能怎样拆分、每一步需要交换多少数据、网络带宽和时延如何，都会限制扩展效率；训练本身也有前后依赖的步骤。&lt;/p&gt;&#xA;&lt;h2 id=&#34;低精度计算&#34;&gt;低精度计算&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;另一个与我近期工作很相关的部分，是低精度计算。&lt;/p&gt;&#xA;&lt;p&gt;许多深度学习模型的主要计算可以归结为密集矩阵运算。它们不一定要求所有步骤都使用 FP64，而是可以根据训练或推理的需要，采用 FP32、FP16、BF16、FP8 等格式，或结合整数与混合精度计算。&lt;/p&gt;&#xA;&lt;p&gt;这里需要分清的是：&lt;strong&gt;低精度减少的是每个数值的表示位数，不意味着算法要做的乘加次数一定变少。&lt;/strong&gt; 它可能减少存储和数据传输的负担，也可能让硬件在相同时间内完成更多运算。但计算中的累加、某些敏感步骤，仍可能需要较高精度。&lt;/p&gt;&#xA;&lt;p&gt;AI 的需求也在影响芯片设计。AI 是由小型矩阵计算驱动的。也就是密集矩阵计算。我们可以看到看到低精度计算正在快速增长。所以 AI 不需要 64 位的算术运算。它们也不需要 32 位。它们实际上需要的运算量要少得多。所以像 NVIDIA 这样的公司，正在制造能进行低精度计算的处理器。并且有个很反常的现象：英伟达的新芯片在 64 位算术运算上比旧芯片运行得更慢。&lt;/p&gt;&#xA;&lt;p&gt;对于科学计算，接下来的问题就更有意思了：能不能让大部分计算使用低精度，再通过必要的高精度计算、误差检查或迭代修正，获得满足要求的结果？&lt;/p&gt;&#xA;&lt;p&gt;这也是我正在关注的低精度研究。不过，数值计算中的误差控制，与语言模型量化后的任务表现，各自的评价方法不一样。&lt;/p&gt;&#xA;&lt;h2 id=&#34;硬件算法和软件协同&#34;&gt;硬件、算法和软件协同&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;报告中还有一个让我印象很深的方向：把矩阵加速能力集成到 CPU 中，再配合高带宽内存，探索不同于独立 GPU 加速器的系统设计。&lt;/p&gt;&#xA;&lt;p&gt;一个很好的例子是国产的龙芯架构，无需GPU，直接将矩阵乘法集成在了芯片内部，以及对应的HBM。以往的架构里，GPU是独立的部件，那就需要写两套程序，开发者需要同时考虑 CPU 与 GPU 上的计算分工，以及不同存储空间之间的数据传输，如果硬件组织方式改变，数据移动和编程的成本也可能随之改变。&lt;/p&gt;&#xA;&lt;h2 id=&#34;近期相关&#34;&gt;近期相关&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;报告中列出了三份相关材料，感兴趣的盆友可以点击阅读：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://bit.ly/no-gpus&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Do We Still Need GPUs? Rethinking AI and Scientific Computing on Future CPUs&lt;/em&gt;&lt;/a&gt;，Jack Dongarra、Torsten Hoefler、Satoshi Matsuoka。&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://doi.org/10.1126/science.aef4214&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Scientific Computing in an AI World&lt;/em&gt;&lt;/a&gt;，Jack Dongarra、Daniel Reed、Dennis Gannon。现场幻灯片标注了这个题名与 DOI；作者主页另提供了一份相关稿件 &lt;a class=&#34;link&#34; href=&#34;https://www.netlib.org/utk/people/JackDongarra/PAPERS/Ride-the-Wave-V5-2.pdf&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Ride the Wave, Build the Future: Scientific Computing in an AI World&lt;/em&gt;&lt;/a&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://bit.ly/china-lineshine&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;&lt;em&gt;Report on the Chinese LineShine System&lt;/em&gt;&lt;/a&gt;，Jack Dongarra。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;报告中列出的三份相关材料&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83_hu_8885a8fd0ec19a9b.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83_hu_ca94c5fcfdd7108b.jpg 1600w, https://szdztn.cn/academic/hpc-in-transition/pic/%E4%BC%9A%E5%90%8E%E6%80%9D%E8%80%83.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;当然，最后也有机会和大佬合照、拿到签名，哈哈哈哈，有种追星成功的感觉。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;与 Jack Dongarra 教授的合照，右侧为小侦形象替换版&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1086&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E5%90%88%E7%85%A7-%E5%B0%8F%E4%BE%A6%E7%89%88.png&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E5%90%88%E7%85%A7-%E5%B0%8F%E4%BE%A6%E7%89%88_hu_88c42c94ad748880.png 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E5%90%88%E7%85%A7-%E5%B0%8F%E4%BE%A6%E7%89%88.png 1448w&#34; width=&#34;1448&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;合照里的我换成了小侦。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;Jack Dongarra 教授留下的电子签名&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;455px&#34; data-flex-grow=&#34;189&#34; height=&#34;750&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E7%94%B5%E5%AD%90%E7%AD%BE%E5%90%8D.jpg&#34; srcset=&#34;https://szdztn.cn/academic/hpc-in-transition/pic/%E7%94%B5%E5%AD%90%E7%AD%BE%E5%90%8D_hu_6a66425105f229e8.jpg 800w, https://szdztn.cn/academic/hpc-in-transition/pic/%E7%94%B5%E5%AD%90%E7%AD%BE%E5%90%8D.jpg 1423w&#34; width=&#34;1423&#34;&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;footnotes&#34; role=&#34;doc-endnotes&#34;&gt;&#xA;&lt;hr&gt;&#xA;&lt;ol&gt;&#xA;&lt;li id=&#34;fn:1&#34;&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.netlib.org/utk/people/JackDongarra/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;Jack Dongarra 作者主页&lt;/a&gt;，列有其研究方向、软件工作与获奖信息。&amp;#160;&lt;a href=&#34;#fnref:1&#34; class=&#34;footnote-backref&#34; role=&#34;doc-backlink&#34;&gt;&amp;#x21a9;&amp;#xfe0e;&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li id=&#34;fn:2&#34;&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.netlib.org/benchmark/hpl/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;HPL 官方说明&lt;/a&gt;，介绍基准求解的问题与 FP64 计算方式。&amp;#160;&lt;a href=&#34;#fnref:2&#34; class=&#34;footnote-backref&#34; role=&#34;doc-backlink&#34;&gt;&amp;#x21a9;&amp;#xfe0e;&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li id=&#34;fn:3&#34;&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.top500.org/lists/top500/2026/06/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;TOP500 2026 年 6 月榜单&lt;/a&gt;，区分 HPL 实测性能 Rmax 与理论峰值 Rpeak。&amp;#160;&lt;a href=&#34;#fnref:3&#34; class=&#34;footnote-backref&#34; role=&#34;doc-backlink&#34;&gt;&amp;#x21a9;&amp;#xfe0e;&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;/div&gt;&#xA;</description>
        </item><item>
            <title>给小侦过个万圣节</title>
            <link>https://szdztn.cn/other/xiaozhen-halloween/</link>
            <pubDate>Sat, 31 Oct 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/other/xiaozhen-halloween/</guid>
            <description>&lt;img src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/halloween-poster.png&#34; alt=&#34;Featured image of post 给小侦过个万圣节&#34; /&gt;&lt;p&gt;今天是万圣节，这段时间做了一个动画角色，最近一直没有什么好的契机给大家介绍。趁着今天周六和万圣节，就给他换几套衣服。挑选了八张做表情包还有一张海报。&lt;/p&gt;&#xA;&lt;p&gt;先让他跟大家打个招呼。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦穿着蝙蝠披风，一只手挥手，另一只手放在身前&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/01-wave.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;小侦&#34;&gt;小侦&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;因为我叫侦探男，所以他叫小侦，十分合理。前段时间一直想做一个自己的动漫形象，以后可以放到文章、视频里，平时也能拿来当表情包。某种意义上，算是我在屏幕里的一个小分身。&lt;/p&gt;&#xA;&lt;p&gt;最开始参考过网上蓝色小鲸鱼的那种感觉，也结合了自己原来的动漫形象。不过折腾到现在，小侦已经没那么像鲸鱼了，变成了一个短头发、戴圆框眼镜的小男生。&lt;/p&gt;&#xA;&lt;p&gt;这次准备了四套万圣节衣服：蝙蝠披风、南瓜装、小恶魔装和幽灵睡衣，红色小角是节日配饰。&lt;/p&gt;&#xA;&lt;h2 id=&#34;gif&#34;&gt;GIF&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;其实之前一直在尝试做动画和 GIF，想让他眨眨眼、挥挥手、歪着头听人说话。听起来都不是什么大动作，真正做起来才发现，想让一个角色自然地动几秒，还挺费劲的。因为有些工具需要花钱才能用，现在做出来的效果不是那么好。有的动作一卡一卡的，有的虽然流畅了，却像整个人被拎着晃。再仔细看，脑袋还会忽大忽小，眼镜和手也不一定老实。后面又调了尺寸、节奏和嘴型，依然没有达到自己想要的效果。其实这几张图也没有让我非常满意，只能说及格线吧。&lt;/p&gt;&#xA;&lt;h2 id=&#34;展示&#34;&gt;展示&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;第一版表情包都配了字，像“收到”“谢谢你”“晚安”这些。后来一看，其实不写也知道他在干嘛，那就去掉，画面还能清爽一些。这是现在的收到，也可以说点赞，以后可以用这个图回复。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦穿着小恶魔装，举起一只手点赞回应&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/02-acknowledge.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;这里合个手表示感谢，没搞懂的时候就摊开手，比较形象了。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦穿着南瓜装，闭眼笑着合手感谢&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/03-thanks.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦歪着头，摊开双手表示疑惑&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/04-puzzled.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;委屈和困了。幽灵睡衣这套还挺适合这两个表情，软乎乎的哈哈哈感觉挺可爱。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦穿着幽灵睡衣，抓着衣领，眼里含着泪&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/05-upset.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦趴在南瓜抱枕上，闭着眼睛休息&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/06-good-night.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;最后是一张开心和一张吓一跳的表情。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦举起双手，闭眼笑着庆祝&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/07-celebrate.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小侦睁圆眼睛，一手轻掩嘴，另一手放在胸前&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;240px&#34; data-flex-grow=&#34;100&#34; height=&#34;512&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/08-surprised.png&#34; width=&#34;512&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;海报&#34;&gt;海报&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;小侦坐在糖果摊旁边，给一只小幽灵递糖，旁边再加一位拿着糖袋的小女巫。背景变成了亮着南瓜灯的夜市，有糖果罐、小摊、落叶，远处还有一弯月亮，氛围感还是挺足的。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;万圣节糖果夜市里，小侦坐在摊边给小幽灵递糖，小女巫在旁边看着&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;180px&#34; data-flex-grow=&#34;75&#34; height=&#34;1448&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/halloween-poster.png&#34; srcset=&#34;https://szdztn.cn/other/xiaozhen-halloween/pic/halloween-poster_hu_17db65c4dc91a980.png 800w, https://szdztn.cn/other/xiaozhen-halloween/pic/halloween-poster.png 1086w&#34; width=&#34;1086&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;今天小侦正式跟大家见面了，今天就当他的生日吧。祝各位万圣节快乐！🎃🎃🎃&lt;/p&gt;&#xA;&lt;p&gt;还有一件事：我的抖音名字之前叫“不爱睡觉的小南瓜”来着&amp;hellip;细思极恐&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>从一线问题出发：顺丰 AI 应用挑战赛旁听记</title>
            <link>https://szdztn.cn/life/sf-ai-application-challenge/</link>
            <pubDate>Thu, 29 Oct 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/life/sf-ai-application-challenge/</guid>
            <description>&lt;h2 id=&#34;序言&#34;&gt;序言&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;最近一些课程要结课了，大作业的DDL接踵而来，一周，七天，一晃眼就过去了。昨天想到一个idea，在凌晨一点多的时候整理出一份PDF发给导师，他应该不会介意。由于报名了观看第二天的顺丰集团AI应用挑战赛的路演，早上还得早起，但当晚却少见的辗转了半小时才入睡。脑海里不自觉地思考刚刚的论述是否有逻辑错误，思路是不是对的，转而又考虑起最近要完成哪些课程作业、跑哪些实验&amp;hellip;&lt;/p&gt;&#xA;&lt;h2 id=&#34;最懂业务的人开始自己做工具&#34;&gt;最懂业务的人，开始自己做工具&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;闹钟响起，猛地睁开眼睛很快就清醒过来了，提前十多分钟就到达了顺丰楼下。这次比赛是面向顺丰内部人员的一个AI应用挑战赛，上午场是一人团队赛道，下午场是多人团队赛道。这也是极其吸引我的一点：由这些贴近现场、熟悉业务的人来做项目开发，那肯定是面向具体的场景去解决具体问题的。我想，这会比脱产的学生做出来的项目更贴近问题，更有落地的价值。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/sf-entrance.jpg&#34; srcset=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/sf-entrance_hu_28d0341557dc400b.jpg 800w, https://szdztn.cn/life/sf-ai-application-challenge/pic/sf-entrance_hu_2cecc477e805f671.jpg 1600w, https://szdztn.cn/life/sf-ai-application-challenge/pic/sf-entrance.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;路演的评委也主要是顺丰和阿里的领导，通过这样的比赛，领导也能更加了解基层目前存在哪些问题。参赛团队要解决的问题主要可以分为以下几类：航空机务管理、工期排班平台、物流运输优化、高峰期场景下的调度、分拣效率优化、数字化看板和智能监控。大部分的选手都不是IT岗位出身的，他们能够进行一些这样的探索，不仅仅是现在的AI足够强劲，一个更加重要的原因是顺丰内部为此做出的努力。公司内部提供庞大的数据支撑、MCP等接口开放内部能力、各个地区/片区鼓励应用选手的参赛作品进行落地验证，我不得不说，顺丰在这方面做得确实很好，这种态度和精神值得企业去学习。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/competition-rules.jpg&#34; srcset=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/competition-rules_hu_4ff9bc5727f57d0.jpg 800w, https://szdztn.cn/life/sf-ai-application-challenge/pic/competition-rules_hu_86c281d68c6d90c6.jpg 1600w, https://szdztn.cn/life/sf-ai-application-challenge/pic/competition-rules.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;领导在意的是什么&#34;&gt;领导在意的是什么&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;但话又说回来，我认为选手们对于这种具体问题还是缺乏一些工程思想。这些具体问题肯定得是通病，公司才会去着力解决，但是那就得考虑项目实施的可移植性、隐私数据安全、运维成本以及带来的收益。而对于不了解IT行业的人是很难答出这些问题的。评委问的多的几个问题就是：其他片区有用你的这套方案吗？使用你的方案需要多大的成本？你的方案节省了多少资源创造了多少收益？对于那些有IT背景的选手，他们对项目架构和使用到的具体技术把握的更准确，路演的说服力也会更强。所以这次比赛可以看作是百花齐放的工程问题大讨论，真正能落地到公司内部的应该会非常少，但会提醒所有人，目前一线存在哪些问题，有过哪些尝试，为后续解决这个问题提高参考。&lt;/p&gt;&#xA;&lt;h2 id=&#34;满载而归百万撤离&#34;&gt;满载而归，百万撤离&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;顺带一提，顺丰的伴手礼真是品类繁多。每场路演中间还有茶歇，水果啊小蛋糕之类的，上午场结束后还能在食堂吃一顿饭，我发现至今为止去的几个大企业里，只有腾讯那次没有伴手礼这些活动。顺丰这次带回的伴手礼挺多：三个盲盒、两个加湿器、一盒中性笔、一个航模、一个编织袋和贴纸。下午我兑换到了最后一个加湿器，碰巧一个女生想换，心地善良的我就送给她了。如果以后有朋友来深大找我玩，有看上的小玩意可以挑几个带走hhh，寄快递还得付运费不咋划算。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/lunch.jpg&#34; srcset=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/lunch_hu_ee54270c2e5baac3.jpg 800w, https://szdztn.cn/life/sf-ai-application-challenge/pic/lunch_hu_6adec7e49b8aaab7.jpg 1600w, https://szdztn.cn/life/sf-ai-application-challenge/pic/lunch.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小礼品&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;320px&#34; data-flex-grow=&#34;133&#34; height=&#34;1279&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/souvenirs.jpg&#34; srcset=&#34;https://szdztn.cn/life/sf-ai-application-challenge/pic/souvenirs_hu_871c9fd6bf5082d3.jpg 800w, https://szdztn.cn/life/sf-ai-application-challenge/pic/souvenirs_hu_64639b1cae884d6a.jpg 1600w, https://szdztn.cn/life/sf-ai-application-challenge/pic/souvenirs.jpg 1706w&#34; width=&#34;1706&#34;&gt;&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>在荔园的第一个月</title>
            <link>https://szdztn.cn/life/liyuan-first-month/</link>
            <pubDate>Tue, 13 Oct 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/life/liyuan-first-month/</guid>
            <description>&lt;p&gt;不知不觉，来到荔园已经一个多月了。还记得本科开学时，第一次一个人出远门，有些慌张，但也算是有条有理地把自己安置好了。在衡阳待了四年，我原以为大学能带给我的也就这么多了。不过最近这一个月，我对大学又有了一个新的认识。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑带着行李，在校园地图上找自己的落脚点&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/05-arriving-at-liyuan.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/05-arriving-at-liyuan_hu_da1be2a793a2b2de.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/05-arriving-at-liyuan_hu_f7e5a5baac89064d.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/05-arriving-at-liyuan.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;校园里的活人感&#34;&gt;校园里的活人感&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;深大的校园文化和人文关怀挺让人着迷的，很容易让我联想到“人人平等”“全心全意为人民服务”“促进人的全面发展”这些词。每栋宿舍都有所属的社区，节假日会组织一些活动，比如迎新时楼下的“第一张照片”、中秋花灯制作、国庆手工活动，学生都可以免费报名。学校每学期还会把专项体育经费发到校园卡里，各个场馆收费也不多，鼓励大家多运动。去到场馆，工作人员脸上似乎都有发自内心的微笑。总之活人感很强，你会很乐意去寻求、接受他们的帮助。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑从体育经费搭起的跳板跃向校园泳池&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/06-campus-pool.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/06-campus-pool_hu_5f2d16be074b31b9.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/06-campus-pool_hu_ad18ca79b9fef3ce.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/06-campus-pool.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;我成了实验被试&#34;&gt;我成了实验被试&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;都说大城市机会多，以前没啥概念，现在倒是有了一个很好的例子。家教群多，家教单也多，我看到的时薪基本在 120 元左右。本来打算接点家教，不过又发现了一个更有意思的事情——当心理实验的被试。校内心理学院几乎每天都在招募，时薪大多在 60 元左右，报酬会根据时长和表现打到银行卡里。这一个月，我估计自己参加了十几个实验，收入总计应该有八百多块了。红外实验、按键实验、脑电实验都体验过，基本是同学们为了论文收集数据。研究的问题也挺有意思：生长环境和语言的关系、工作环境对舒适度的影响、静息状态和不同声音下的脑电信号，还有有限信息下的信任投资偏好、人眼感知光栅的临界值等等。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑戴着脑电采集帽做实验，赚点零花钱&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/01-experiment-pocket-money.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/01-experiment-pocket-money_hu_364441a20da1e0de.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/01-experiment-pocket-money_hu_4b4f687891f5b007.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/01-experiment-pocket-money.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;不过，做的时候我也有点疑问。有些实验会提前告诉被试要做什么，同一种任务又得重复好多遍，跟平常生活不太一样。就拿光栅那个实验来说，平时可能只看几张图，实验里我大概看了不下 600 张。一直看下去，人会不会越来越熟悉任务，或者越看越累？最后测出来的结果，和平时看几眼时的反应又有多大差别？当然，这不一定就说明实验有问题，可能设计里已经考虑过这些因素，只是我还没搞明白。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑连续看光栅图，判断能否看到光栅，用 yes 或 no 按键作答&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/02-six-hundred-gratings-v2.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/02-six-hundred-gratings-v2_hu_9381293232459f96.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/02-six-hundred-gratings-v2_hu_3e64f17bcaaa6ce8.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/02-six-hundred-gratings-v2.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;印象最深的还是去中科院先进所做 VR 实验。戴上设备后，模拟的是高拟真的深潜作业场景。这是我第一次体验 VR，也顺便了解了一些深潜作业任务。说到这，还挺巧：南华大学校友胡震是“蛟龙号”的副总设计师，也是“深海勇士号”载人潜水器的总设计师。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑第一次戴上 VR 设备，体验模拟深潜作业&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/07-first-vr-experience.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/07-first-vr-experience_hu_f0d09d471eac0a5d.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/07-first-vr-experience_hu_c56f4d22cf4a4cca.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/07-first-vr-experience.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;吃饭没那么省心&#34;&gt;吃饭没那么省心&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;but，还是有些地方要吐槽的。都说广东是湖南人的第二故乡，怎么校内食堂还是这么清淡，辣椒都没啥辣味。最近的两个食堂去了几次就吃腻了，没几个合我口味的菜。当然也跟我挑食有关，鸡蛋、水产品、海产品这些我都不咋吃，哪个学校的食堂估计都撑不了多久。其实有个辣椒炒牛肉挺想试一下，不过一份要二十多块，吓得我当场说不要了……早餐倒是比较实惠，面包挺好吃，三四块钱左右。水果就不太敢看了，一根香蕉要两块五到三块，我以前买的都是一块一根。还好淘宝、美团可以点外卖，花点时间能找到比较大的券，我在学校吃的水果几乎都是点的外卖。零食就更不用说了，价格感人，附近还没有零食很忙这种店。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;工作人员说辣椒炒牛肉要二十多块，小黑把盘子推了回去&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/03-canteen-price-v2.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/03-canteen-price-v2_hu_2960c7f150d70ee4.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/03-canteen-price-v2_hu_f93a23b077974285.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/03-canteen-price-v2.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;中秋的一个下午&#34;&gt;中秋的一个下午&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;中秋那会，在深圳工作的同学来找我们玩，从 SZU 大楼到沧海校区，走马观花了一个下午。三点左右才到，天气又热，粤海这边基本没怎么逛。刚好碰上社团招新，类似“百团大战”的场面，沧海那边很是热闹。轻轻松松做了几个任务，拿了些小礼品。我把一个无畏契约的小扇子给那位同学留作纪念，自己留了一个 3D 打印的钥匙扣，有点像《猫和老鼠》里面那只狗。在电信楼附近找了个地方坐下来，他给我们讲了些工作中遇到的趣事。聊到快六点，找了家火锅店，三人爽吃，最后由那位已经上班的同学买单。蹭吃蹭喝的感觉真不错。回宿舍的路上，居然碰到一家零食很忙，直接进去扫荡了一波，打包带回宿舍，生活质量极大提高。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;三个小黑中秋聚会，已经工作的同学请客吃火锅&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/08-mid-autumn-friends.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/08-mid-autumn-friends_hu_c21b369d3ad6e854.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/08-mid-autumn-friends_hu_12f4453ea530eb0e.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/08-mid-autumn-friends.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;还有一些第一次&#34;&gt;还有一些第一次&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;其实这段时间还参加了不少活动：去腾讯参观实习、听广东电信的宣讲会、逛秋季招聘会，还有组内第一次聚餐、宿舍第一次团建……emmmmm，都可以说道说道，不过写下来也挺费精力。这篇国庆假期就开始动笔了，今天已经是 10 月 13 号。关于入学以来的感受，就先写到这吧。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑对着十月十三日的日历写稿：先写到这&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/04-finish-on-october-13.png&#34; srcset=&#34;https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/04-finish-on-october-13_hu_6c8c4ebdd99f1ede.png 800w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/04-finish-on-october-13_hu_9cfddf72361ee89d.png 1600w, https://szdztn.cn/life/liyuan-first-month/assets/liyuan-first-month-illustrations/04-finish-on-october-13.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>SmoothQuant 的“近乎无损”</title>
            <link>https://szdztn.cn/academic/smoothquant/</link>
            <pubDate>Fri, 02 Oct 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/academic/smoothquant/</guid>
            <description>&lt;p&gt;把模型精度从 FP16 换成 INT8，数值表示更粗了，为什么二者的表现却如此接近，几乎无损？&lt;/p&gt;&#xA;&lt;p&gt;SmoothQuant 提出了一种方法：量化之前，先调整激活和权重的尺度，让两边都容易量化一些。&lt;/p&gt;&#xA;&lt;p&gt;这里的激活，是模型计算过程中产生的中间数值；权重，是模型的参数。理解这两边怎么配合，比先记住整套公式更有用。&lt;/p&gt;&#xA;&lt;h2 id=&#34;大数把刻度撑开了&#34;&gt;大数把刻度撑开了&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;可以把量化想成用一把有限刻度的尺子记录数值。范围越大，相邻刻度之间的距离通常也越大，小数值的细节就容易挤在同一格里。&lt;/p&gt;&#xA;&lt;p&gt;例如，采用一种常见的对称 INT8 约定，用整数码 -127 到 127 表示范围 -100 到 100。步距大约是：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div class=&#34;chroma&#34;&gt;&#xA;&lt;table class=&#34;lntable&#34;&gt;&lt;tr&gt;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code&gt;&lt;span class=&#34;lnt&#34;&gt;1&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;100 ÷ 127 ≈ 0.7874&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;原始值 70 对应整数码 89，恢复尺度后是约 70.079。原始值 1 和 0.8 都会对应整数码 1，恢复后都约为 0.7874，原本的区别就丢了。&lt;/p&gt;&#xA;&lt;p&gt;所以，整数码是一个刻度编号。原始值小于 128，也不意味着它能被 INT8 原样存下。&lt;/p&gt;&#xA;&lt;p&gt;这是教学例子，步距由设定的范围决定，不是 INT8 固定为 0.7874。&lt;/p&gt;&#xA;&lt;p&gt;SmoothQuant 原论文观察到，一些模型的激活中，少数通道的幅值持续很大。如果各通道共用一把尺子，这些大数会把范围撑开，其他小数就不好记录了。&lt;/p&gt;&#xA;&lt;h2 id=&#34;激活除权重乘&#34;&gt;激活除，权重乘&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;线性层需要把激活和权重相乘。激活缩小一点，对应权重放大一点，可以保持原来的乘积。&lt;/p&gt;&#xA;&lt;p&gt;拿一个简单的数值例子看：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div class=&#34;chroma&#34;&gt;&#xA;&lt;table class=&#34;lntable&#34;&gt;&lt;tr&gt;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code&gt;&lt;span class=&#34;lnt&#34;&gt;1&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;2&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;原来：100 × 0.5 = 50&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;调整：(100 ÷ 10) × (0.5 × 10) = 10 × 5 = 50&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;SmoothQuant 把这个办法用到每个输入通道上：激活除以一个比例，对应权重乘以同一个比例。各项乘积保持不变，最后加起来的结果也保持不变。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑拉伸矩形布，示意量化前一侧缩小、另一侧补偿&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/smoothquant/assets/smoothquant-illustrations/01-inverse-scaling.png&#34; srcset=&#34;https://szdztn.cn/academic/smoothquant/assets/smoothquant-illustrations/01-inverse-scaling_hu_bc9506d2a8dc2e17.png 800w, https://szdztn.cn/academic/smoothquant/assets/smoothquant-illustrations/01-inverse-scaling_hu_9ab398a14557cd8b.png 1600w, https://szdztn.cn/academic/smoothquant/assets/smoothquant-illustrations/01-inverse-scaling.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;图里的面积只是帮助理解互逆缩放，表示的是量化之前的计算。&lt;/p&gt;&#xA;&lt;p&gt;实际处理时，不同通道会选不同的比例。激活中的大通道可以降下来，权重吸收相应的比例。把所有激活统一缩小同样的倍数，并不能自动改善量化误差。&lt;/p&gt;&#xA;&lt;p&gt;比例也不能随便选。压激活压得太狠，权重可能变得难以量化。方法会用校准数据估计通道幅值，再平衡两边的负担。&lt;/p&gt;&#xA;&lt;p&gt;这里调整的是通道尺度。后面量化时，仍可以让整个张量共用一个步距，也可以给每个 token 位置的激活向量单独定步距。“按通道平滑”和“按通道量化”是两种不同的方法。&lt;/p&gt;&#xA;&lt;h3 id=&#34;示例把三个通道都算一遍&#34;&gt;示例：把三个通道都算一遍&#xD;&#xA;&lt;/h3&gt;&lt;p&gt;取四个 token，每个 token 有 A、B、C 三个通道。下面按 T1 到 T4 的顺序列出激活，以及对应的权重：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div class=&#34;chroma&#34;&gt;&#xA;&lt;table class=&#34;lntable&#34;&gt;&lt;tr&gt;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code&gt;&lt;span class=&#34;lnt&#34;&gt;1&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;2&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;3&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;A：[100，80，-70，-100]     权重：0.01&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;B：[1，-1.5，2，-2]        权重：0.5&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;C：[0.8，-0.7，1.5，-1.2]  权重：0.6&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;这是教学数据，不是论文实测。未量化的结果作为基准；比较的两条路线，都对整张激活、整张权重分别使用一个对称 INT8 步距，舍入到最近刻度，不额外主动裁剪。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;先直接量化。&lt;/strong&gt; 激活最大绝对值为 100，因此步距是 100 ÷ 127，约 0.787402。&lt;/p&gt;&#xA;&lt;p&gt;例如 B 通道的 1：除以步距约为 1.27，舍入成整数码 1，反量化后约为 0.787402。绝对误差就是两者之差的绝对值，约 0.212598。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;再按论文方法平滑。&lt;/strong&gt; 取平衡参数 alpha = 0.5，各通道的缩放比例这样计算：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div class=&#34;chroma&#34;&gt;&#xA;&lt;table class=&#34;lntable&#34;&gt;&lt;tr&gt;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code&gt;&lt;span class=&#34;lnt&#34;&gt;1&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;2&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;3&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;4&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;5&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;缩放比例 = √(该通道激活最大绝对值 ÷ 对应权重最大绝对值)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;A：√(100 ÷ 0.01) = 100&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;B：√(2 ÷ 0.5) = 2&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;C：√(1.5 ÷ 0.6) ≈ 1.581139&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;激活分别除以上面的比例，权重乘回来。激活三个通道的最大幅值变成约 1、1、0.948683，权重变成约 1、1、0.948683。这次激活和权重的最大绝对值都是 1，两者各自的量化步距都为 1 ÷ 127，约 0.007874。&lt;/p&gt;&#xA;&lt;p&gt;仍以 B 通道的 1 为例：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div class=&#34;chroma&#34;&gt;&#xA;&lt;table class=&#34;lntable&#34;&gt;&lt;tr&gt;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code&gt;&lt;span class=&#34;lnt&#34;&gt;1&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;2&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;3&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;4&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;5&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;平滑：1 ÷ 2 = 0.5&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;量化：0.5 ÷ (1 ÷ 127) = 63.5 → 整数码 64&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;反量化：64 ÷ 127 ≈ 0.503937&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;换回原尺度：0.503937… × 2 ≈ 1.007874&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;绝对误差：约 0.007874&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;下面把所有值放在一起。为了公平比较，Smooth 路线的激活反量化后，都先乘回各通道的缩放比例，再与原值求差。&lt;strong&gt;这一步只用于比较同一尺度上的误差，实际线性层使用平滑后的激活与权重相乘。&lt;/strong&gt; 表中保留六位小数，计算用未舍入值。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;通道 A&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;原值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;直接量化后&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;绝对误差&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;Smooth 后换回原尺度&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;绝对误差&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;100&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;100.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;100.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;80&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;80.314961&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.314961&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;80.314961&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.314961&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-70&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-70.078740&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.078740&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-70.078740&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.078740&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-100&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-100.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-100.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;四个值的平均绝对误差：0.098425 → 0.098425。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;通道 B&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;原值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;直接量化后&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;绝对误差&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;Smooth 后换回原尺度&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;绝对误差&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.787402&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.212598&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.007874&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.007874&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-1.5&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-1.574803&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.074803&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-1.496063&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.003937&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;2.362205&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.362205&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;2.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-2.362205&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.362205&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-2.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;四个值的平均绝对误差：0.252953 → 0.002953。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;通道 C&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;原值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;直接量化后&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;绝对误差&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;Smooth 后换回原尺度&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;绝对误差&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.8&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.787402&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.012598&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.796794&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.003206&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-0.7&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-0.787402&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.087402&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-0.697195&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.002805&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.5&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.574803&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.074803&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.493989&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.006011&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-1.2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-1.574803&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.374803&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-1.195192&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.004808&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;四个值的平均绝对误差：0.137402 → 0.004207。&lt;/p&gt;&#xA;&lt;p&gt;A 的误差基本不变，B、C 的误差则明显降低。它们不再挤在由 A 撑开的粗刻度上。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;最后还要看权重和输出。&lt;/strong&gt; 直接路线的权重步距为 0.6 ÷ 127，平滑路线为 1 ÷ 127。得到的权重是：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;通道&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;原始权重&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;直接量化后&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;平滑后、尚未量化&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;平滑再量化后&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;A&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.01&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.009449&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;B&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.5&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.500787&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.000000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;C&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.6&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.600000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.948683&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.944882&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;这里的权重反量化值保留在各自路线的尺度上。直接路线使用原始激活的反量化值；Smooth 路线使用平滑激活的反量化值，两侧都已量化。&lt;/p&gt;&#xA;&lt;p&gt;T1 未量化的输出是：100 × 0.01 + 1 × 0.5 + 0.8 × 0.6 = 1.98。其余位置也按三个通道的乘积求和：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;位置&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;未量化输出&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;直接 W8A8 输出&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;Smooth W8A8 输出&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;T1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.980000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.811644&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.980098&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;T2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-0.370000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-0.502201&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-0.361523&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;T3&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.200000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.465683&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;1.192014&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;T4&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-2.720000&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-3.072726&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;-2.714241&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;四个输出的平均绝对误差，从 &lt;strong&gt;0.229742 降到 0.005580&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;这组例子展示了 SmoothQuant 的核心工作：按通道迁移尺度，保持量化前的计算，再让激活和权重以较小的联合误差进入 INT8。它改善了这组数据的输出，但没有把舍入误差清零。&lt;/p&gt;&#xA;&lt;h2 id=&#34;乘积搞定了舍入误差仍然存在&#34;&gt;乘积搞定了，舍入误差仍然存在&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;前面的乘法例子使用精确数值。真正换成 INT8 时，激活和权重都要落到整数刻度上，舍入误差仍然会出现。实际浮点运算也不保证变换前后逐位相同。&lt;/p&gt;&#xA;&lt;p&gt;SmoothQuant 改善的是量化条件，让最终的误差尽量小，并不保证每一个数都比之前更准确。&lt;/p&gt;&#xA;&lt;p&gt;至于“小了多少”，需要看实验。&lt;/p&gt;&#xA;&lt;p&gt;原论文 Table 3 中，OPT-175B 的 FP16 基线在 WikiText 上的 PPL 是 10.99，SmoothQuant-O3 是 11.17，约上升 1.64%。七个零样本任务的平均准确率，从 66.9% 变成 66.8%。&lt;/p&gt;&#xA;&lt;p&gt;说明在这组模型、数据和配置下，量化后的表现接近 FP16，而不是所有数值完全相同。平均结果也会掩盖具体任务的差别。&lt;/p&gt;&#xA;&lt;p&gt;模型变了，校准数据变了，效果还需要重新检查。W8A8 也不意味着整个网络都使用 INT8，原论文里的 Softmax、LayerNorm 等运算仍保留浮点精度。&lt;/p&gt;&#xA;&lt;p&gt;因此，我理解的“近乎无损”有个具体落点：用更低精度完成主要计算，同时在评测中维持大部分能力。输出的文本能不能让人也觉得没区别，还需要另外验证，至少我现在不这么认为。&lt;/p&gt;&#xA;&lt;p&gt;参考：&lt;a class=&#34;link&#34; href=&#34;https://arxiv.org/abs/2211.10438&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;SmoothQuant 原论文&lt;/a&gt;，主要对应 Equation 3、4 和 Table 3；&lt;a class=&#34;link&#34; href=&#34;https://github.com/mit-han-lab/smoothquant&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;官方代码&lt;/a&gt;。困惑度的计算见上一篇：&lt;a class=&#34;link&#34; href=&#34;https://szdztn.cn/academic/perplexity/&#34; &gt;困惑度，从一句话算起&lt;/a&gt;。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>困惑度，从一句话算起</title>
            <link>https://szdztn.cn/academic/perplexity/</link>
            <pubDate>Fri, 02 Oct 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/academic/perplexity/</guid>
            <description>&lt;p&gt;语言模型的评测表里，经常会出现困惑度，英文叫 Perplexity，简称 PPL。通常越低越好。&lt;/p&gt;&#xA;&lt;p&gt;不过，只记住“越低越好”，两个模型的困惑度差了零点几，究竟意味着什么？&lt;/p&gt;&#xA;&lt;p&gt;这篇文章以这句“我爱吃苹果。”介绍一下困惑度。&lt;/p&gt;&#xA;&lt;h2 id=&#34;给原文打分&#34;&gt;给原文打分&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;为了方便，假设这句话被分成五个 token：我、爱、吃、苹果、句号。token 是模型分词后的基本单位，实际分词不一定这样，这里就按这个例子来。&lt;/p&gt;&#xA;&lt;p&gt;评估时，我们依次检查：看到“我”，模型给“爱”多少概率；看到“我爱”，给“吃”多少概率；后面也是一样。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;模型看到的前文&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;原文接下来的 token&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;模型分配的概率&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;爱&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.428671…&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我 爱&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;吃&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.55&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我 爱 吃&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;苹果&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.62&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我 爱 吃 苹果&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.80&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;这些概率是教学设定，不是实测结果。第一项保留省略号，是因为实际计算用了未舍入的数值。&lt;/p&gt;&#xA;&lt;p&gt;模型先给整个词表里的候选打分，再通过 softmax 转成概率。计算 PPL 时，每个位置只取原文中那个真实答案的概率。&lt;/p&gt;&#xA;&lt;p&gt;即使模型看到“我”之后最想接“吃”，下一步也依然输入原文的“我爱”。它不负责自由续写，我们只检查它给这段原文打了多少分。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑盖住后面的文本，只使用真实前文&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing.png&#34; srcset=&#34;https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing_hu_c1b87e30e2910c33.png 800w, https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing_hu_26e7bee1be1ea675.png 1600w, https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;整句话可以一次送进模型。因果注意力掩码会限制各位置可见的内容，预测“吃”时能用“我爱”，但不能偷看后面的“苹果”。&lt;/p&gt;&#xA;&lt;p&gt;还有一点：表里的 0.55 是看到“我爱”之后给“吃”的概率。只看到“我”时，“吃”也可能有另一个概率，两者不能混用。&lt;/p&gt;&#xA;&lt;h2 id=&#34;把四个概率算成一个数&#34;&gt;把四个概率算成一个数&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;先对每个目标概率取负的自然对数，得到 NLL，也就是负对数似然。用计算器的 ln 功能就可以算。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;目标概率&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;NLL，约等于&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.428671…&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.8471&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.55&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.5978&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.62&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.4780&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.80&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.2231&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;概率越高，损失越小。模型给正确答案很低的概率，会受到更大的惩罚。&lt;/p&gt;&#xA;&lt;p&gt;把四项损失平均，再取指数：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div class=&#34;chroma&#34;&gt;&#xA;&lt;table class=&#34;lntable&#34;&gt;&lt;tr&gt;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code&gt;&lt;span class=&#34;lnt&#34;&gt;1&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;2&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;平均 NLL ≈ 0.5365&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;PPL = exp(平均 NLL) ≈ 1.71&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;exp 表示以自然常数 e 为底的指数。这两步用的是未舍入的中间值，表中的四位小数只方便阅读。&lt;/p&gt;&#xA;&lt;p&gt;本例只有四个目标。“我”作为给定的开头，没有评分；句号则由前一个位置预测，参与评分。如果加入起始标记，连第一个“我”也评估，计算项数就会改变。&lt;/p&gt;&#xA;&lt;p&gt;1.71 可以理解成一种等效选择难度：假设模型每次在十个候选中平均分配概率，真实答案也在里面，那么 PPL 就是 10。&lt;/p&gt;&#xA;&lt;p&gt;但 1.71 不表示模型真的只考虑了 1.71 个词，更不能换算成正确率。数学上，它是真实目标概率的几何平均值的倒数。&lt;/p&gt;&#xA;&lt;h2 id=&#34;拿它比较模型时&#34;&gt;拿它比较模型时&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;换一套分词方式、换一段文本，或者改变模型能看到的前文长度，PPL 都可能变化。所以比较 FP16 和量化版本时，要使用同一个检查点，固定评估文本、分词和上下文设置。&lt;/p&gt;&#xA;&lt;p&gt;评估整份数据，也要先累加所有有效目标的 NLL，再除以目标总数，最后取一次指数。直接平均每句话的 PPL，得到的通常不是整体 PPL。长文本采用滑动窗口时，重叠部分也不能重复计分。&lt;/p&gt;&#xA;&lt;p&gt;量化可能改变模型给真实目标的概率，PPL 因而能帮助我们观察语言建模能力有没有受影响。&lt;/p&gt;&#xA;&lt;p&gt;不过，它仍是一个平均值。有些位置变好、有些变差，最后可能得到相近的数字。生成的内容也未必一样。&lt;/p&gt;&#xA;&lt;p&gt;这也是我关注有效计算时想分清的一件事：模型的分数接近，和人读起来的感受接近，还隔着一步验证。并且我认为这两者之间还有很大的gap。&lt;/p&gt;&#xA;&lt;p&gt;参考：&lt;a class=&#34;link&#34; href=&#34;https://huggingface.co/docs/transformers/perplexity&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;Hugging Face 的 PPL 教程&lt;/a&gt;。下一篇接着聊 &lt;a class=&#34;link&#34; href=&#34;https://szdztn.cn/academic/smoothquant/&#34; &gt;SmoothQuant 的“近乎无损”&lt;/a&gt;。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>你好，世界</title>
            <link>https://szdztn.cn/life/hello-world/</link>
            <pubDate>Sun, 20 Sep 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/life/hello-world/</guid>
            <description>&lt;p&gt;每个程序员的第一段程序，几乎都是这一句：&lt;code&gt;Hello, World&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;p&gt;在屏幕上打出这几个字符，等于和机器握了第一次手——「这台机器听懂了我的想法，我也能开始驱动它了，就好像拥有了一只宝可梦。」&lt;/p&gt;&#xA;&lt;p&gt;这篇文章，就是我写下的另一句「你好，世界」。&lt;/p&gt;&#xA;&lt;h2 id=&#34;为什么开始写&#34;&gt;为什么开始写&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;读研之后，我渐渐发现一件事：脑子里记下的东西，是会消失的。&lt;/p&gt;&#xA;&lt;p&gt;读过的论文，两周后往往只剩一个模糊的印象；实验里踩过的坑，下次可能还要再踩一遍；某个瞬间「想通了」的问题，如果不写下来，转头就说不清自己当时是怎么想的。&lt;/p&gt;&#xA;&lt;p&gt;写下来，就是给自己留一份证据——证明我今天是真的想明白了，而不是「好像懂了」。日后导师问起来，我也能以此证明我当天确实是懂了，说不定就能逃过一劫哈哈哈。&lt;/p&gt;&#xA;&lt;p&gt;当然，如果碰巧也能帮到路过的谁，那就是额外的运气。&lt;/p&gt;&#xA;&lt;h2 id=&#34;写什么&#34;&gt;写什么&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;想法很朴素：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;生活&lt;/strong&gt;：日常里值得记住的片段。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;学术&lt;/strong&gt;：读过的论文、踩过的坑、想清楚的问题。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;其他&lt;/strong&gt;：一时兴起，什么都可能。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;结尾&#34;&gt;结尾&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;我不追求写得多，也不追求写得漂亮。只希望每一次敲下回车，都是认真地和这个世界说一句，你好！&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>我的第一块积木</title>
            <link>https://szdztn.cn/other/first-block/</link>
            <pubDate>Sun, 20 Sep 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/other/first-block/</guid>
            <description>&lt;p&gt;他人以「第一篇博客」为起点，我以「第一块积木」为起点。&lt;/p&gt;&#xA;&lt;p&gt;从一开始，我就没将这里视为一篇文章，而看作一栋需要亲手逐块搭建的房子。搭建的难点，往往不在构想最终形态，在于迟迟无法安放第一块。&lt;/p&gt;&#xA;&lt;p&gt;因此，今天先放好第一块。&lt;/p&gt;&#xA;&lt;h2 id=&#34;我是谁&#34;&gt;我是谁&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;我是侦探男，深圳大学人工智能学院研一新生。&lt;/p&gt;&#xA;&lt;p&gt;目前关注两个仍在摸索的方向：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;计算体系结构&lt;/strong&gt;：围绕 gem5 的分支预测器（BTB）进行源码精读与实验，探究预测器如何影响处理器性能。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;有效计算&lt;/strong&gt;：追问一个更上层的问题——机器指标改善，是否必然带来人的效用改善？&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;Machine Metric Improvement ≠ Human Utility Improvement。&lt;/p&gt;&#xA;&lt;p&gt;一者向下进入指令与电路细节，一者向上追问“有用”本身。两者都还在学，也还在搭。&lt;/p&gt;&#xA;&lt;h2 id=&#34;这栋房子会放什么&#34;&gt;这栋房子会放什么&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;这栋房子会容纳三类内容，作为三种不同类型的积木。三生万物，描绘所剩不多的学生时代，这也许又是我青春里最无悔的决定之一：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;生活&lt;/strong&gt;：日常中值得留存的片段。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;学术&lt;/strong&gt;：读过的论文、踩过的坑、厘清的问题。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;其他&lt;/strong&gt;：兴之所至，皆可纳入。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;写在最后&#34;&gt;写在最后&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;我不知道，积木能搭多高。&lt;/p&gt;&#xA;&lt;p&gt;我不知道，多久才能放上新的一块。&lt;/p&gt;&#xA;&lt;p&gt;我也不知道，有多少人会在意。&lt;/p&gt;&#xA;&lt;p&gt;我只知道，第一块积木已安放。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>我的研究兴趣</title>
            <link>https://szdztn.cn/academic/research-directions/</link>
            <pubDate>Sun, 20 Sep 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/academic/research-directions/</guid>
            <description>&lt;p&gt;目前我在两个方向上进行探索：&lt;/p&gt;&#xA;&lt;h2 id=&#34;计算体系结构&#34;&gt;计算体系结构&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;&lt;strong&gt;DENSE-BTB&lt;/strong&gt;：基于 gem5 的分支预测器（BTB）源码精读与实验，关注分支预测对处理器性能的影响。&lt;/p&gt;&#xA;&lt;h2 id=&#34;有效计算effective-computing&#34;&gt;有效计算（Effective Computing）&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;关注一个核心命题：&lt;strong&gt;机器指标的提升，是否真的等价于人的体验提升？&lt;/strong&gt;（Machine Metric Improvement ≠ Human Utility Improvement）&lt;/p&gt;&#xA;&lt;p&gt;后续会在这里陆续写下论文笔记和实验记录。&lt;/p&gt;&#xA;</description>
        </item></channel>
</rss>
