HellaSwag

title: "HellaSwag: 衡量大模型常识推理能力的黄金标尺"
type: "deep research"
category: "AI Benchmark"
tags: ["HellaSwag", "常识推理", "LLM", "基准测试", "对抗性生成"]

### 1. 摘要：常识，大模型的阿克琉斯之踵

HellaSwag 是一个专门用于评测大语言模型常识推理能力的基准测试，其全称“Harder Endings, Longer contexts, and Low-shot Activities for Situations With Adversarial Generations”已经揭示了它全部的野心：不是考察模型记住了多少事实，也不是测试模型能否进行复杂的符号逻辑推演，而是通过一个看似极其简单的“句子续写”任务，精准检验模型是否真正“理解”了物理世界和人类社会的运行常识。测试给出一段日常场景的上下文描述，例如“一个女人在厨房里切菜”，然后提供四个可能的后续句子，其中只有一个是符合人类常识的合理发展，另外三个都是由早期先进模型生成的、语法流畅甚至主题相关但内容荒谬的“对抗性干扰项”。模型必须从这四个选项中选出唯一正确的续写。

这个任务之所以严苛，是因为那些错误选项并非胡乱拼凑，它们完美地模拟了语言模型容易犯的“一本正经地胡说八道”的类型——主题匹配、句式自然，却在关键细节上违背了最基本的物理规律或社会共识。HellaSwag 因此成为衡量模型是否形成了内在世界模型的试金石。它的核心价值在于，能够以极高的分辨力有效区分真正的“理解”和表面上的“模仿”，从而在一众传统自然语言处理基准中脱颖而出，成为基础模型能力评估中不可或缺的“健康检查”。自2019年发布以来，HellaSwag 从最初让最先进模型仅略超随机猜测的刁钻难题，逐步转变为模型进入实用门槛的基础能力验证，完整地见证了大模型从弱到强的技术演进，也深刻地影响了产业界对人工智能“智能”二字的认知标准。本报告将从历史语境、技术构造、实验发现、产业映射及未来进路等多个维度，对HellaSwag进行一次全景式的深度剖析。

### 2. 引言：当“流畅”欺骗了我们

在自然语言处理发展的漫长历程中，人类设计的大多数评测基准都集中在对语言形式本身的掌握之上——句法分析、情感分类、命名实体识别、文本蕴含等。这些传统任务无疑推动了计算语言学的发展，但它们共同存在一个根本局限：不要求模型真正“知道”椅子是用来坐的、太阳是从东方升起的、人们不会将叉子插进电源插座。长期以来，研究者们默认只要模型能够在大规模文本数据上习得统计规律，就能顺带捕捉到隐含在这些文本中的常识知识。然而，深度学习，尤其是Transformer架构的横空出世，将这一假设推向了危机边缘。

2018年至2019年间，BERT、GPT-2等预训练语言模型相继问世，生成文本的流畅度以肉眼可见的速度提升，大量的科技媒体和产业巨头开始用“接近人类水平”“具备常识推理能力”等话语来包装自己的产品。然而，在那些令人惊叹的连贯段落里，细心的研究者观察到一种微妙却致命的异常现象：模型在聊天对话或故事生成任务中，并不是在真正地“思考”下一个合理的事件，而是在概率意义上选择那些与上下文统计上最常共现的词汇序列。这种统计模仿产生了一种所谓的“语义滑坡”——文本在绝大多数表面特征上无可挑剔，但放在现实世界场景中却稍显荒诞甚至完全不可能。例如，模型可能在“他走进浴室”之后自然地续写“然后他打开了冰箱”，而不会察觉空间设置上的根本矛盾。HellaSwag 正是在这种“流畅性幻觉”蔓延的技术语境下诞生的，它的目标是用最朴素、最难以欺骗的方式，将常识推理这一隐藏在大模型语言能力背后的暗礁暴露在阳光之下。

### 3. 诞生背景：GPT时代的常识焦虑

HellaSwag 的诞生绝非偶然。2018年，OpenAI发布了第一代GPT，其单向语言建模的方式展现出惊人的文本续写能力。随后，BERT以掩码语言模型的形式刷新了大多数自然语言理解榜单。然而，华盛顿大学和艾伦人工智能研究所的研究者在深入分析GPT的输出行为时发现了一个系统性的模式：当模型被要求预测一个场景的下一个事件时，它更倾向于生成那些在训练语料中与给定上下文经常共现的一般性叙述，而非那个场景下唯一合理的具体动作。换句话说，模型学会了“关联”，但没有学会“因果”和“物理约束”。

例如，对于上下文“一名体操运动员在平衡木上起跳”，人类会期待一个诸如“她完成了一个后空翻并稳稳落地”之类的合理续写。但早期的GPT模型却可能给出“她开始哭泣”或“观众席上有人卖爆米花”，这些语句虽然在语言上通顺且与体操主题相关，却完全无视了正在进行的高难度动作序列的即时连贯性。这表明模型缺乏一种对物理世界即时状态（如身体在空中的动量、重力约束）的表征能力，而仅仅是在进行一种高级的话题维持。这种失败模式被Rowan Zellers等人系统性地加以捕捉，并成为HellaSwag数据集设计的核心动机。他们意识到，要真正衡量智能，就需要创造一种任务，其错误答案不是随机的噪声，而是精确模拟模型最典型的“合理但错误”的思维轨迹。于是，对抗性生成的思想被引入基准构建之中，HellaSwag应运而生。

### 4. 任务定义：句子续写的简单与复杂

从表面上看，HellaSwag的任务形式极其朴素，甚至可以说是原始：它是一个严格的多项选择题。给定一个上下文，通常由1-3句话组成，描述一个日常生活或特定活动的场景，以及4个候选结尾句子，模型需要选出唯一一个符合人类常识的合理续写。上下文和候选结尾均来自两个领域：日常活动（如做饭、收拾庭院）和特定活动（如玩滑板、做普拉提）。这些场景被精心挑选，以确保它们需要调用丰富的物理常识、社会规范、意图推理等深层认知能力。

然而，这种简单性的背后隐藏着精密的构造哲学。HellaSwag的上下文并不是随意截取的文本片段，而是从WikiHow等带有明确步骤指引的语料中提取并进行人工重写的活动描述。WikiHow的文章天然具有“目标-步骤”的结构，提供了一个强时序性和因果关系的活动框架。原始研究者从这些文章中抽取一个正在进行中的步骤作为上下文，然后将下一步骤的合理描述作为正确答案。因此，正确答案具备高度的物理逻辑连贯性，而这一点恰恰是纯语言模型难以仅凭统计共现习得的特性。这种设计确保了任务对“常识”的要求是内生的、无法绕过的。一个模型若想在此任务上得高分，必须真正地对活动序列的因果约束和物理状态变化进行建模，而无法仅仅依靠上下文中词汇的简单主题延续来蒙混过关。

### 5. 对抗性生成：制造高迷惑性干扰项的艺术

HellaSwag 最核心的创新，也是它名字中“Adversarial Generations”的由来，在于其错误选项的生成方式。传统的多选题基准，其干扰项通常由人工手写或通过随机替换词汇产生，这些干扰项要么在语法上不自然，要么在主题上明显偏离上下文，模型很容易通过浅层模式识别将其排除。而HellaSwag的干扰项，全部由当时最先进的GPT模型（具体为GPT-1或GPT-2的早期版本）在特定条件下生成，并经过严格的对抗性筛选。

生成流程如下：对于每一个上下文，研究者使用一个早期的语言模型，以束搜索或采样方式生成大量可能的结尾句子。这些机器生成的结尾通常会呈现出多样化的“错误模式”——有的保持了主题却违背了物理顺序（如“将生鸡肉端上餐桌”），有的将步骤中涉及的工具用在了错误的对象上，有的引入了完全无关的常识实体但措辞却非常自然。然后，研究者在这海量候选中，利用一组自动化指标和人工验证的混合策略，筛选出三个最具误导性的选项作为干扰项。其中的关键是，筛选器会优先选择那些让当时的模型（如GPT等）给出高概率，但对人类来说明显不合理的句子。这个过程被称为“对抗性过滤”，它确保了最终的数据集不会因为语言质量低劣而被轻易攻破。由于这些干扰项天生出自语言模型的“大脑”，它们完美地模拟了模型内部最可能发生的常识性错误类型，从而使HellaSwag成了一面精准映射模型思维盲区的镜子，任何后来者想要在这面镜子前伪装“理解”都变得极其困难。

### 6. 数据集构造：规模、分布与质量控制的严谨性

HellaSwag 数据集并非小规模实验玩具，而是一个经过精心设计、具有足够统计稳健性的大规模基准。其最终版本包含约1万个上下文，并划分为训练集、验证集和测试集。虽然任务本身被当作零样本或少样本能力的测试，但提供训练集的本意是允许模型进行领域适应。然而，实际上多数顶尖模型是直接进行零样本评估的，这也更贴合测试常识推理“泛化”能力的初衷。

在数据分布上，HellaSwag覆盖了极其广泛的日常活动场景，从“如何换轮胎”到“如何制作意大利面”，从“如何在滑雪板上转弯”到“如何进行瑜伽下犬式”。这种广度保证了任务不是偏向某一狭窄领域的专用知识，而是真正测量普通成年人类所共享的通用常识。为了确保数据集本身的质量，研究者投入了大量人工进行验证。每个上下文-正确答案对都经过人工撰写或改写，确保来自WikiHow的原始文本被彻底去除生硬的指导性口吻，而是变成自然的口语化叙事。干扰项也经过了多轮人工剔除——那些虽然由机器生成但碰巧合理，或者因文化差异可能存在歧义的选项都被严格移除。这种近乎苛刻的清洗最终使得HellaSwag的人类基准准确率超过了95%，为后续所有模型提供了一个极其清晰的能力上限参照，也从根本上奠定了其作为“黄金标尺”的地位。

### 7. 技术原理深度解析：生成式常识推理的本质

HellaSwag 评测的是一种被作者定义为“生成式常识推理”的能力。这与传统的阅读理解或自然语言推理有着微妙但本质的区别。传统自然语言推理通常给定前提和假设，让模型判断假设是否可以从前提中推断出来，这测试的是模型对文本本身包含信息的逻辑关联能力。而 HellaSwag 要求模型做到的则是一个跨越：它需要从一个开放式的场景描述中，想象出“接下来最符合世界规律地会发生什么”，这要求模型调用存储在参数中的关于物理世界运作方式、人类的意图、文化习惯以及因果关系的大量内隐知识。

从认知科学的角度，这一任务触及了人类“预测加工”理论的核心。人类理解世界的一个基本机制是不断对下一刻的感觉输入进行预测，并基于预测误差来调整内部模型。HellaSwag 将这一机制压缩到了一个文本选择题中：从“一个女人在厨房里切菜”这个上下文，大脑会自然而然地预测接下来可能的动作——继续切下一刀，或者把切好的菜放入碗中，但绝不会预测“她打开窗户飞了出去”。这种预测能力依赖于一个丰富的、内部一致的“世界模型”。大语言模型在HellaSwag上的准确率，本质上就是在衡量其内部状态表征在多大程度上能够维持这种物理和社会的连贯性。因此，该基准超越了单纯的“语言能力”范畴，进入了“具身认知”与“世界建模”的交叉地带。模型必须学会文本与物理状态之间的映射，即便这种物理状态从未以模态数据（如图像、力反馈）直接输入过，而仅仅是从海量文本的间接描述中蒸馏出来的。

### 8. 人类基准与早期模型惨败的震撼性对比

HellaSwag 数据集成为了对当时AI研究界冲击最大的排行榜之一，其原因在于人类表现与模型表现之间存在着令人震撼的巨大鸿沟。在原始论文中，人类众包工作者的准确率高达95.6%，这证实了数据集本身的问题对于普通人类而言是极其简单直接的——几乎不需要任何深思熟虑，仅凭直觉就能瞬间辨别出哪个续写“对劲”。然而，2019年时，最强的通用语言模型，如BERT-Large，其零样本准确率仅为约45-47%，仅仅略高于随机猜测的25%。即便是经过在该数据集训练集上进行微调的模型，准确率也只能提升到60-70%左右，仍然远低于人类水平。

这一发人深省的对比构成了HellaSwag的“名片效应”。它直白地告诉全世界：那些在GLUE、SuperGLUE等传统基准上已接近甚至超越人类分数的模型，在常识推理面前几乎还是“瞎子”。尤其值得注意的是，GPT-2等模型虽然在文本生成流畅度上令人拍案叫绝，但在HellaSwag上的得分却低得可怜，这恰恰说明了“说话流利”与“说话在理”是两种截然不同的能力。这一对比结果在当时制造了巨大的学术震动，迅速将研究界的注意力从单纯的提高语言困惑度或文本蕴涵分数，引向了更深层次的常识建模问题。它为后来一系列试图将知识图谱、物理模拟器、视觉信息与语言模型相结合的研究工作提供了强有力的动机，也促使模型开发者将HellaSwag作为必测的核心指标之一。

### 9. 规模效应的胜利：从GPT-2到GPT-4的能力涌现

如果说HellaSwag的诞生是对早期模型的一次“羞辱”，那么随后几年大规模语言模型的演进则在该基准上书写了一部惊心动魄的逆袭史。最初，提升HellaSwag得分的尝试聚焦于精巧的模型架构或知识增强手段，例如将常识知识图谱嵌入模型，但效果有限。真正的转折点来自模型规模的急剧膨胀。2019年底，OpenAI发布的GPT-2 1.5B版本将零样本准确率提升到了约62%，而2020年推出的GPT-3 175B直接将这一数字推高到约78-79%，实现了对之前所有精心微调模型的大幅超越。这种不经过任何专门微调，仅靠扩大参数和数据规模就在常识推理上产生质变的现象，正是后来被广泛称为“涌现能力”的典型体现。

随后，GPT-3.5、InstructGPT、PaLM、Chinchilla、LLaMA等一系列更强更大的模型继续刷新纪录。到2024年，最先进的模型如GPT-4、Claude 3等在HellaSwag上的零样本准确率已经普遍达到95%以上，甚至超过了原始的人类基准，接近饱和状态。这一轨迹深刻揭示了两个科学事实：第一，常识推理能力可以大部分从海量文本的统计学习中涌现，而不一定需要显式的符号知识或具身经验，只要模型足够大，文本中隐含的物理规律和社会规范就能被足够精细地参数化。第二，HellaSwag的角色已经悄然发生转变——从一个高不可攀的“圣杯式挑战”变成了基础模型智能的“准入门槛”。如今，任何新发布的大模型如果在HellaSwag上不能突破90%，几乎相当于公开承认其基础能力存在严重缺陷。该基准的演进史，本身就是大模型智能演进史的一个精确缩影。

### 10. 产业影响：价值数十亿美元的入场券

在产业层面，HellaSwag 具备了远超学术基准的深远影响力，它已经进入了大模型商业竞争的核心话语体系。当今，基础模型赛道是一个动辄投入数十亿美元计算资源的竞技场，云服务商、明星初创公司和科技巨头每发布一款新的模型，都会在一系列公开基准上公布成绩单，其中HellaSwag几乎从不缺席。原因在于，API调用者或企业客户在选择基座模型来构建自己的应用时，常识推理的可靠性是一个非功能性的优先级指标。

试想以下场景：一个基于大模型的客服机器人，如果缺乏常识推理，在回答“我买的冰箱不制冷了，门关得很好”时，可能会一本正经地教导用户“请确认冰箱门是否关好”；一个自动新闻摘要系统，在提炼“男子用雨伞阻挡落石受伤”的新闻时，可能会丢失雨伞不可能有效阻挡落石的常识线索，从而生成事实性错误。这些应用场景对物理规律、人类意图和社会惯例的精准把握有着极高的要求，而HellaSwag正是目前公认为最能简洁有效衡量此类能力的通用代理指标。因此，它成了一款“信任标尺”。对于企业而言，一个HellaSwag高分模型意味着下游应用更少的幻觉、更强的指令跟随和更低的灾难性风险。可以说，HellaSwag为百亿美元级别的产业应用加上了一层基础的安全垫和可解释性背书，这也是其被称为“黄金标尺”的世俗含义。

### 11. HellaSwag 的局限性与批判性审视

尽管HellaSwag地位尊崇，但它也并非完美无瑕的试金石，来自学界和业界的批判与局限性讨论自其诞生起就不绝于耳。首要批评指向其任务形式的表面化。一些研究者质疑，即便是完美的HellaSwag成绩，也可能仅仅反映模型学会了如何在一个固定的多项选择范式中进行“去偏”和“模式匹配”，而非真正具备开放式场景下的常识推理能力。毕竟，四项选择本身为模型提供了排错的可能，而在真实世界中，模型需要自主生成而不仅仅是判别。此外，HellaSwag的对抗性干扰项源自早期GPT模型，随着模型代际更替，后来者可能会利用与干扰项生成模型相似的归纳偏置，从而在一定程度上以“同族免疫”的方式轻易排除干扰，但这并不代表其常识推理本质上更强。

数据集本身的偏狭也被反复提及。HellaSwag的活动场景主要源自英文WikiHow，不可避免地带有西方文化和英语语言习惯的烙印。对于非英语原生环境或非西方文化背景的用户，某些“常识”可能并不通用。例如，一个涉及棒球场景的续写，对不熟悉该项运动的模型来说是一个知识问题而非推理问题。最后，有研究指出HellaSwag主要测试的是“动作序列的即时物理合理性”，而对更长时间跨度、涉及情感变化、社会博弈或反事实推理的深层常识覆盖不足。这意味着，一个在HellaSwag上拿到100分的模型，仍可能在更微妙的常识任务中（如社会智慧、道德判断）出错。这些局限性共同提醒我们，黄金标尺只是工具箱中的一把好尺，而非智能的全部。

### 12. 后续演进与变体：从HellaSwag到常识推理家族

HellaSwag的成功催生了一大批在方法论和精神上受其启发的常识推理基准。其中最直系的变体是“Social IQa”和“Physical IQa”等数据集，它们将常识拆分为社会常识和物理常识两个独立维度，同样采用对抗性生成来制造迷惑选项，但更聚焦于特定类别。另一个重要的演进方向是由HellaSwag团队自己提出的“Adversarial NLI”，将对抗生成思想引入自然语言推理，以构建更难被统计模式攻破的蕴涵数据集。

与此同时，为了响应模型能力的增长并延续基准的生命周期，研究者们还尝试过“动态对抗”方法，即使用最新的模型来持续生成新的干扰项，创建类似“不断进化的考试”这样的循环基准。然而，这种动态方式的标准化和可比性面临巨大挑战。另一个趋势是将HellaSwag的思想扩展到多模态领域，例如文本到视频的模型需要预测视频序列的后续帧，其常识错误可能表现为物体违反物理规律的运动，这与文本续写中的常识错误存在深层的对应关系。这些后续发展表明，HellaSwag不只是一个数据集，它更重要的遗产是开创了一种基准构建的哲学：即必须根据当前AI最容易犯的微妙错误来设计对抗样本，从而持续压榨模型的真实能力，避免评测本身退化为一种通过数据集偏差即可刷分的过时仪式。

### 13. HellaSwag 与深层认知科学的对话

将HellaSwag仅仅看作一个工程评测工具会严重低估它的深层意义。实际上，这个基准无意间搭建了一座通往认知科学和哲学人工智能讨论的桥梁。它迫使研究者直面一个根本问题：仅从文本中学习，能够获得真正的“意义”吗？传统符号主义和早期联结主义的争论中，一方认为符号接地必须依赖感知和动作，另一方则认为统计学习足以从形式上提取符号间的关系。HellaSwag为这场争论提供了一个定量的擂台。当GPT-4等纯文本模型最终超越人类水平时，一种强有力的论据浮现：足够丰富的语言语料库本身就对物理世界和社会互动进行了高度压缩的编码，语言模型通过预测千万个“女人在厨房里切菜”的下文，实际上已经反向学习到了一个内部的“厨房物理模拟器”的某种雏形。

然而，认知科学家也保持谨慎。一些研究者指出，HellaSwag高分可能仅仅代表模型学会了非常精细的文本脚本知识，而不是真正的因果理解。一个经典反驳是，如果模型真正理解了重力，那么它在需要更复杂推理的物理场景（比如积木倒塌的序列预测）中应该也能表现出色，但实际情况往往并非如此。因此，HellaSwag记录的准确率曲线更像是智能黑箱的一条外部行为轨迹，它揭示了“那里面”正发生一些深刻的事情，但并没有直接告诉我们它的内部运算是否与人类的常识推理同构。这种张力使得HellaSwag成为了一个既让人兴奋又让人不安的存在，它不断诱惑我们去重新定义什么是“理解”，什么是“智能”。

### 14. 未来展望：超越多项选择的常识测量

站在当前大模型能力井喷的历史节点，HellaSwag正面临着“登顶后的困惑”。当最先进的模型已经达到或超过人类基准准确率，这项基准还有持续运营的价值吗？答案是肯定的，但其形式和内涵必须演进。未来的HellaSwag测度可能会从以下三个方向寻求突围。

第一，从判别式到生成式的转变。未来的常识评估不应仅让模型从四个选项中挑出正确答案，而应要求模型在开放生成中直接续写合理结尾，并采用自动化常识违例检测器（可能由另一个强大的判别网络或形式化验证工具）来评估生成文本的物理逻辑一致性。这将极大地提高作弊难度。第二，跨模态扩展。结合视频、触觉等感知模态的信息，构造多模态常识推理场景，要求模型在理解视觉世界的基础上续写文本，从而检验其知识是否真的跨越了符号和感知的鸿沟。第三，长链因果推理。将单一的句子续写扩展为多步叙事，要求模型在更长的依赖链条上保持常识一致性，例如预测一个复杂烹饪活动的完整10步序列，每一步的可能失败和补救措施，这将为测试规划与常识的结合打开新的大门。HellaSwag的本质精神——用模型自身的弱点来测试模型——将永远有效，只是具体表现形式必将随着AI能力的成长而持续进化。

### 15. 结论：一把尺测出的智能进化史

HellaSwag 的故事，就是一部微缩的大模型智能进化史。它诞生于对“流畅幻觉”的洞察，通过开创性地引入对抗性生成，将常识推理这道无形的高墙矗立在了早期语言模型面前。它不考验博闻强记，不考察复杂推理，只通过最朴素的选择题，赤裸裸地揭示出统计模仿与真实理解之间的天壤之别。而后，它又亲眼见证了规模化带来的能力涌现，从BERT的踉跄起步，到GPT-3的一跃而过，再到GPT-4的轻松超越，它自己的角色已经从高不可攀的尖端挑战，沉静地转变为模型世界的入门“健康检查”。今天，HellaSwag仍是每一场大模型发布会清单上不可或缺的分数，它将继续作为衡量一个模型是否值得被称作“有常识”的黄金标尺，同时也不断提醒我们：智能的终极秘密，也许就隐藏在那些我们人类毫不费力便能理解的、物体会落下、工具自有其用、人不会飞入窗外的朴素世界的背后。未来，随着基准本身的演化，HellaSwag所开启的对抗性常识评估范式必将继续照亮通往真正通用人工智能的道路。