<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>困惑度 on 侦探男的网站</title>
        <link>https://szdztn.cn/tags/%E5%9B%B0%E6%83%91%E5%BA%A6/</link>
        <description>Recent content in 困惑度 on 侦探男的网站</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh-cn</language>
        <lastBuildDate>Fri, 02 Oct 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://szdztn.cn/tags/%E5%9B%B0%E6%83%91%E5%BA%A6/index.xml" rel="self" type="application/rss+xml" /><item>
            <title>困惑度，从一句话算起</title>
            <link>https://szdztn.cn/academic/perplexity/</link>
            <pubDate>Fri, 02 Oct 2026 00:00:00 +0000</pubDate>
            <guid>https://szdztn.cn/academic/perplexity/</guid>
            <description>&lt;p&gt;语言模型的评测表里，经常会出现困惑度，英文叫 Perplexity，简称 PPL。通常越低越好。&lt;/p&gt;&#xA;&lt;p&gt;不过，只记住“越低越好”，两个模型的困惑度差了零点几，究竟意味着什么？&lt;/p&gt;&#xA;&lt;p&gt;这篇文章以这句“我爱吃苹果。”介绍一下困惑度。&lt;/p&gt;&#xA;&lt;h2 id=&#34;给原文打分&#34;&gt;给原文打分&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;为了方便，假设这句话被分成五个 token：我、爱、吃、苹果、句号。token 是模型分词后的基本单位，实际分词不一定这样，这里就按这个例子来。&lt;/p&gt;&#xA;&lt;p&gt;评估时，我们依次检查：看到“我”，模型给“爱”多少概率；看到“我爱”，给“吃”多少概率；后面也是一样。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;模型看到的前文&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;原文接下来的 token&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;模型分配的概率&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;爱&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.428671…&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我 爱&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;吃&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.55&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我 爱 吃&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;苹果&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.62&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;我 爱 吃 苹果&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.80&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;这些概率是教学设定，不是实测结果。第一项保留省略号，是因为实际计算用了未舍入的数值。&lt;/p&gt;&#xA;&lt;p&gt;模型先给整个词表里的候选打分，再通过 softmax 转成概率。计算 PPL 时，每个位置只取原文中那个真实答案的概率。&lt;/p&gt;&#xA;&lt;p&gt;即使模型看到“我”之后最想接“吃”，下一步也依然输入原文的“我爱”。它不负责自由续写，我们只检查它给这段原文打了多少分。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;小黑盖住后面的文本，只使用真实前文&#34; class=&#34;gallery-image&#34; data-flex-basis=&#34;426px&#34; data-flex-grow=&#34;177&#34; height=&#34;941&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing.png&#34; srcset=&#34;https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing_hu_c1b87e30e2910c33.png 800w, https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing_hu_26e7bee1be1ea675.png 1600w, https://szdztn.cn/academic/perplexity/assets/perplexity-illustrations/01-teacher-forcing.png 1672w&#34; width=&#34;1672&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;整句话可以一次送进模型。因果注意力掩码会限制各位置可见的内容，预测“吃”时能用“我爱”，但不能偷看后面的“苹果”。&lt;/p&gt;&#xA;&lt;p&gt;还有一点：表里的 0.55 是看到“我爱”之后给“吃”的概率。只看到“我”时，“吃”也可能有另一个概率，两者不能混用。&lt;/p&gt;&#xA;&lt;h2 id=&#34;把四个概率算成一个数&#34;&gt;把四个概率算成一个数&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;先对每个目标概率取负的自然对数，得到 NLL，也就是负对数似然。用计算器的 ln 功能就可以算。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;目标概率&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th style=&#34;text-align: right&#34;&gt;NLL，约等于&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.428671…&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.8471&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.55&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.5978&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.62&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.4780&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.80&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td style=&#34;text-align: right&#34;&gt;0.2231&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;概率越高，损失越小。模型给正确答案很低的概率，会受到更大的惩罚。&lt;/p&gt;&#xA;&lt;p&gt;把四项损失平均，再取指数：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div class=&#34;chroma&#34;&gt;&#xA;&lt;table class=&#34;lntable&#34;&gt;&lt;tr&gt;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code&gt;&lt;span class=&#34;lnt&#34;&gt;1&#xA;&lt;/span&gt;&lt;span class=&#34;lnt&#34;&gt;2&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td class=&#34;lntd&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;平均 NLL ≈ 0.5365&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;PPL = exp(平均 NLL) ≈ 1.71&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;exp 表示以自然常数 e 为底的指数。这两步用的是未舍入的中间值，表中的四位小数只方便阅读。&lt;/p&gt;&#xA;&lt;p&gt;本例只有四个目标。“我”作为给定的开头，没有评分；句号则由前一个位置预测，参与评分。如果加入起始标记，连第一个“我”也评估，计算项数就会改变。&lt;/p&gt;&#xA;&lt;p&gt;1.71 可以理解成一种等效选择难度：假设模型每次在十个候选中平均分配概率，真实答案也在里面，那么 PPL 就是 10。&lt;/p&gt;&#xA;&lt;p&gt;但 1.71 不表示模型真的只考虑了 1.71 个词，更不能换算成正确率。数学上，它是真实目标概率的几何平均值的倒数。&lt;/p&gt;&#xA;&lt;h2 id=&#34;拿它比较模型时&#34;&gt;拿它比较模型时&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;换一套分词方式、换一段文本，或者改变模型能看到的前文长度，PPL 都可能变化。所以比较 FP16 和量化版本时，要使用同一个检查点，固定评估文本、分词和上下文设置。&lt;/p&gt;&#xA;&lt;p&gt;评估整份数据，也要先累加所有有效目标的 NLL，再除以目标总数，最后取一次指数。直接平均每句话的 PPL，得到的通常不是整体 PPL。长文本采用滑动窗口时，重叠部分也不能重复计分。&lt;/p&gt;&#xA;&lt;p&gt;量化可能改变模型给真实目标的概率，PPL 因而能帮助我们观察语言建模能力有没有受影响。&lt;/p&gt;&#xA;&lt;p&gt;不过，它仍是一个平均值。有些位置变好、有些变差，最后可能得到相近的数字。生成的内容也未必一样。&lt;/p&gt;&#xA;&lt;p&gt;这也是我关注有效计算时想分清的一件事：模型的分数接近，和人读起来的感受接近，还隔着一步验证。并且我认为这两者之间还有很大的gap。&lt;/p&gt;&#xA;&lt;p&gt;参考：&lt;a class=&#34;link&#34; href=&#34;https://huggingface.co/docs/transformers/perplexity&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xD;&#xA;    &gt;Hugging Face 的 PPL 教程&lt;/a&gt;。下一篇接着聊 &lt;a class=&#34;link&#34; href=&#34;https://szdztn.cn/academic/smoothquant/&#34; &gt;SmoothQuant 的“近乎无损”&lt;/a&gt;。&lt;/p&gt;&#xA;</description>
        </item></channel>
</rss>
