包括 GPT 等大语言模型在内，基于 Transformer 的 AI 模型已经彻底改变语言生成，却经常无法处理一个人类习以为常的基本概念：作者归因。
这些模型吸收由无数个人创作的大量文本，并学会生成连贯、符合语境的回答。但在这个过程中，它们往往会忘记谁说了什么。因此，生成式 AI 的输出可能重现既有观点、风格，甚至原文措辞，却完全无法追溯至最初作者。
本文解释这种现象为何发生、Transformer 如何以模糊来源的方式处理上下文，以及为何在这类模型中保留归因本身就十分困难。我们还会研究实际归因失败案例，评估能够保留出处的系统尝试及其局限，并讨论它对知识产权、引用规范、科学贡献和 AI 生成内容问责的影响。
1. Transformer 如何使用注意力和上下文，以及信息为何会混合
GPT 等模型的核心是 Transformer 架构。它使用名为自注意力的机制处理输入文本。文本首先被拆分成 Token，也就是单词或子词的数值向量表示。在 Transformer 的每一层中，Token 通过多头注意力彼此“上下文化”。简单来说，模型会查看输入中的其他词，判断它们对理解当前词有多重要，并据此调整当前词的内部表示。相关词中的关键信息被放大，不相关上下文则被弱化。因此，每个输出 Token 本质上都是多个输入 Token 按学习到的注意力权重进行加权后形成的混合物。
注意力会把整个上下文组合起来，因此 Transformer 对一个词或一句话的理解不再与单一来源或说话者隔离。例如：“Alice 说 X，Bob 回应 Y。”模型在理解 Y 时可能关注 X，反之亦然，于是 Alice 和 Bob 的内容彼此纠缠。训练让模型学会词语和短语之间的统计关联，却不会保留这些词来自哪个实体或文档的持久标识。
这种架构捕捉含义的能力非常强大。它可以从文本任意位置提取线索，解决代词指代和长距离依赖，但代价是抹去出处边界。信息一旦被吸收并表示为内部向量，就会成为共享上下文的一部分，而不再是来自某个特定来源的引文。
研究者经常通过可视化注意力模式展示上下文如何混合。一个著名例子是：“The animal didn’t cross the street because it was too tired.” Transformer 会从代词 “it” 强烈关注名词 “animal”，推断 “it” 指代动物。模型将 “animal” 的信息混入 “it” 的表示，从而澄清含义。但与此同时，“animal”的具体贡献已经融合进网络对“it”的表示。如果我们原本想追踪每个词来自哪个文档或说话者，这些信息并没有保存在专门字段中，而是被折叠进激活模式。注意力机制只按内容相关性区分信息，不按来源区分。
经过多层 Transformer 后，这种混合以及对表面细节的抽象只会进一步增强。模型开始生成回答时，已经把所有相关上下文压缩成用于预测下一个词的统一表示。除非提示词或架构明确加入相关能力，否则整个过程中没有一个位置用于保存“这项事实的来源是……”。Transformer 的目标是生成可能的文本续写，而不是交叉核验或引用来源。正如 The Atlantic 所概括的，大语言模型被设计为通过顺序预测词语来写出流畅文本，而不是交叉核验信息或创建引用。
本质上，Transformer 并不会天然知道或记住一项信息来自哪里，只知道在给定上下文后它出现的概率有多高。
2. 作者与来源为何在训练和推理中丢失
归因丢失不只是推理阶段的特征，而是始于训练阶段。训练时，语言模型摄取来自互联网、书籍和文章的数万亿字节文本，并优化自己对每个样本下一个 Token 的预测。关键在于，模型在此过程中不会存储来源或作者元数据，只是调整数十亿权重，提高生成符合数据模式的序列概率。所有知识以分布式方式写入模型参数。
如果两个来源表达同一事实，例如化学教材中的“水在 100°C 沸腾”和烹饪博客中的“100°C 是水的沸点”，模型会识别这种模式，并在被问到水的沸点时重现它。但模型不会拥有一段可检索记忆，说明每种表达来自哪个来源。训练目标不要求它这样做，只要求输出听起来合理且符合语境。事实上，语言模型开始生成文本的一刻，与训练来源之间的明确连接基本已经消失。它是在无数既有文本的概率影响下组成新序列，而不是引用某个可识别文档。
大语言模型没有内置的“这是谁说的”或“这项事实来自哪里”概念。它将语言表示为模式，而不是附带来源注释的数据库记录。即使模型输出著名引语或具体事实，也只是因为给定提示后，这段词语序列具有较高统计概率，而不是因为它主动查询了来源。
实践中已经出现许多鲜明案例。使用特别设计的提示时，GPT 类模型可能几乎逐字输出训练数据中的段落，例如旧学术论文或软件文档，但通常不会给出任何引用或来源说明。某位用户在撰写学术文章时，从 AI 助手获得了一段流畅文字，却不知道它高度改写了一篇冷门的 1975 年论文。模型很可能在训练时见过该论文，但无法逆向分析自己的段落并准确追溯来源。观点被重现，却没有获得认可，由此产生无意抄袭的风险。
这种效果并非出于恶意。AI 不是有意隐藏来源，而是真正不以类似人类的方式知道来源。训练把“Smith（1975）提出 X”抽象成“X 在语境 Y 中是一项有效且表达良好的陈述”。
同样，在多轮对话中，Transformer 也很容易混淆是谁提供了哪项信息。如果没有特殊处理，它可能混合两个说话者的人格，或把一人的陈述当成另一人所说。例如，在总结 Alice 与 Bob 的对话时，朴素语言模型可能将 Bob 的引语错误归给 Alice。这是对话摘要任务中的常见失败模式：引语归属错误。模型会抓住内容，却不能牢固追踪说话者标签；尤其在代词或对话上下文存在歧义时，注意力可能关注说了什么，而不是谁说的。
虚构或错置归因是另一种表现。AI 可能生成：“正如 Albert Einstein 的名言，天才是 1% 的天赋和 99% 的努力。”它语气自信，但 Einstein 从未说过这句话，人类也经常错误归因。模型不是故意撒谎，而是见过引语和归因的模式，并在模仿它们。由于缺少关于来源的扎实知识，它可能将引语与一个经常和名言同时出现的著名姓名配对。
这种倾向在新闻和研究中尤其棘手。2023 年一项新闻编辑室实验指出，大语言模型会因为模仿学习到的模式并预测最可能的词，而编造引语或将真实引语归给错误来源。实验发现，即使明确要求不得修改，ChatGPT 仍经常重写直接引语，并有时将陈述归给错误的人。这种保存“谁说了什么”时的不确定性直接来自训练目标：模型从未被训练去分开保留归因，只被训练去生成流畅文本。
必须强调，Transformer 没有“作者”或“来源”的原生表示。不同于会用“来源—主张”等结构存储事实的数据库或知识图谱，Transformer 只保存序列概率。除非在输入数据中加入来源标签，而广泛预训练通常不会这样做，否则模型的隐藏状态和输出中不存在明确的出处元数据。
ChatGPT 可以在被要求时愉快地生成参考书目，但其中的引用经常是虚构的，因为它只是在复现引用的形式，而没有访问受事实约束的来源。Transformer 架构本身没有验证来源的机制；训练已经将所有来源模糊成一整块“知识”。
3. 实践中的具体归因失败案例
以下案例展示了基于 Transformer 的模型如何模糊或丢失作者信息。
-
学术写作辅助。 研究者使用大语言模型协助撰写文献综述，向模型提供观点摘要，模型将其扩写为一段流畅文字。双方都不知道，输出高度复现了一篇研究者从未读过的论文。因为模型没有引用任何内容，研究者可能将这些文字当成自己观点的润色。实际上，它们等同于另一篇论文中未标注来源的引文。学术界由此提出伦理问题：如果 AI 在没有引用的情况下重现一篇冷门的 1975 年论文中的洞见，这是否构成抄袭？即使没有欺骗意图，使用者仍从他人未获认可的智力贡献中受益。这是一种新的“归因伤害”。来源链条已经断裂，模型和用户都没有为原作者提供认可，因为起源已不可见。
-
新闻摘要中的引语归属错误。 新闻工作者尝试使用 GPT-4 总结采访或文章时，发现模型会修改引语或将其归给错误的人。在一项测试中，ChatGPT 被要求总结新闻并保持所有引语原样，却仍经常改写引语或改变说话者。如果原文是“Alice 说‘正在下雨’，Bob 随后反驳 Alice”，模型可能输出“Bob 说正在下雨，Alice 随后反驳”，完全颠倒归属。模型的目标是生成连贯摘要，却没有将引语锁定到说话者的内部防护机制。Alice 与 Bob 的话都存在于表示中，但在重述时，谁说了这些话可能滑移。正因为如此，引语感知摘要已经成为一个活跃研究领域。
-
虚构引用和来源。 最著名的案例或许是大语言模型生成完全虚假的引用。律师、学生和研究人员都曾被 AI 自信生成、实际却不存在的参考资料误导。一位律师曾要求 ChatGPT 提供支持法律论点的案例，模型给出一组完全虚构、格式却貌似可信的判例引用。原因在于模型知道引用长什么样，却没有真正从法律数据库检索信息，只是将常见法律术语和姓名拼成虚构来源。这说明模型没有内置的真实参考资料数据库；被要求提供来源时，它会依据模式制造来源。2023 年一项研究发现，即使顶尖模型回答知识问题时，也有超过一半的情况无法提供正确或完整引用。它们会省略来源，或指向不相关、错误的来源。只有接入搜索引擎等外部工具后，Bing AI 和 Perplexity.ai 等系统才能加入引用；即使如此，AI 有时仍引用二手来源或内容镜像，而不是原始来源，因为它并不真正理解出处，只是在链接相似文本。
这些例子揭示共同主题：没有特殊设计时，大语言模型会把内容视为没有所有者的材料。它会以新方式混合、改写并重现训练数据，却不会主动说“根据 X……”，除非提示它模仿这种表达；即使这样，X 也可能错误。它不是有意“窃取”功劳，而是根本没有功劳归属的概念。这是 Transformer 对语言进行泛化的直接结果。
4. 在 AI 系统中保留或恢复归因的尝试
从学术诚信、新闻准确性到知识产权，归因问题影响重大。研究者和开发者正在探索如何把出处概念加入 AI 生成内容。不同方法各有取舍。
-
符号系统或知识系统。 深度学习革命以前，AI 通常依靠知识库或规则。在这些系统中，事实可以保存明确归因，例如知识图谱可以记录“水的沸点 = 100°C（来源：CRC Handbook）”。一些现代方法尝试将符号范式与神经网络结合：系统使用每项记录都带来源的科学知识图谱，并约束语言模型只生成与图谱一致的文本。因为来源已写入数据，模型就可以为每项事实提供引用。但符号数据库永远难以达到完整训练后的 Transformer 所覆盖的广度和灵活性；维护涵盖全部事实且持续更新的知识库也是巨大工程。神经与符号组件结合还会增加复杂性，控制不严时模型仍可能回到学习到的神经“知识”。符号 AI 能以覆盖范围为代价保证出处。它适用于总能引用医学文献的专业系统等狭窄领域，却难以扩展到 Wikipedia 乃至更广泛知识。
-
检索增强生成（RAG）。 一种已投入实践的框架，是让模型在回答时检索相关文档，并基于这些文档生成内容。OpenAI WebGPT、DeepMind RETRO 和 Meta Fusion-in-Decoder 等系统会针对问题搜索文档索引或网络，取回若干相关段落，再让模型在这些段落的条件下生成答案。答案可以直接引用检索文本，通过行内链接或脚注提供来源。Bing AI 或 Perplexity.ai 为句子添加引用，就是检索增强的实际应用。它利用 Transformer 的语言和推理能力，同时用带有引用的外部知识约束输出，类似要求学生每次都查百科并引用条目。用户因此能够验证和追踪主张。但 RAG 依赖检索组件找到正确信息；如果搜索失败或返回有问题的来源，输出也会受到影响。它只能引用已检索且通常较短的上下文；涉及多项知识或难以搜索的语境时，模型仍可能虚构连接。此外，RAG 主要解决事实出处，而不能解决风格或观点归因。模型仍可模仿某位作者的风格而不说明灵感来源。
-
元数据标签和提示工程。 另一种方法是在输入或提示中明确提供来源信息，例如用
[作者：Alice] 你好。[作者：Bob] 我很好。标注训练数据，希望模型保持标签。多轮聊天中的角色标识就是简化版本，它在一定程度上帮助模型追踪说话者。但对网站或书籍等更广泛出处而言，简单元数据 Token 往往不够；如果没有严格约束，模型可能在较长输出中忽略或丢失它们。一种设想是要求模型在答案中输出结构化出处，例如 JSON 元数据或不可见标记。AI 图像可以带有标明模型和数据集的不可见水印，AI 文本也可能携带指出主要影响来源的隐藏标记。但这些方法要求改变架构或输出格式，目前并非标准。如果终端用户看不到出处数据，或平台会移除它们，它们也无法改善问责。元数据标签在概念上简单，但其效果完全取决于保存并尊重元数据的生态系统。 -
知识图谱和混合模型。 符号与检索方法的一个变体，是在训练或推理时将语言模型连接到知识图谱或数据库。混合模型生成文本时可以动态查询带有引用的事实库。例如被问到“谁发现了青霉素？”时，它查询到“青霉素——Alexander Fleming 发现（来源：biography.com）”，再附带引用回答。Wikipedia 与语言模型集成、KILT 等知识密集型语言任务，都旨在让模型指出支持文档。但这些系统面临对齐问题：模型必须决定何时相信外部来源，何时相信参数中学习到的内容；也需要持续维护高质量知识图谱。它们可以提升事实准确性和引用，却不能完整处理措辞或观点归因。模型模仿 Ernest Hemingway 风格时，知识图谱未必会提示这种风格来自 Hemingway，因为风格归因不是数据库中的离散事实。
-
将模型输出追溯至训练数据。 最新研究尝试为已训练模型补充透明度。2025 年的 OLMoTrace 系统会将大语言模型输出追溯至具体训练样本。模型生成句子后，系统搜索可能包含数万亿 Token 的训练集，寻找与输出高度匹配的段落。如果发现逐字或高度相似的内容，它可以提示“该回答可能来自这一来源”，相当于事后为 AI 添加参考书目。交互式系统甚至可以让用户点击查看促成回答的训练片段。这个透明度概念很有价值，但仍处于早期。如果输出综合多个来源而不是逐字引用，追踪结果就会模糊，可能只有多个部分匹配而没有单一明确来源。训练数据不公开时，披露数据还涉及隐私和安全等伦理与实践问题。尽管如此，OLMoTrace 表明，即使模型内部不追踪出处，用户仍需要审计 AI 输出来源的方式。
符号、检索、元数据、混合和追踪方法各自提供了一块拼图，却都不是万能答案。它们在受限环境或特定场景中表现良好，但要在 GPT-4 这类模型的全部能力范围内保留作者身份，仍是未解决问题。有专家认为，如果没有根本性的新架构或约束，AI 模型可能永远无法完美寻找并引用信息。Transformer 最初并非为归因设计，今天的方案实际上是在事后附加能力。
5. 为什么通用 Transformer 天然难以维护出处
综合以上内容，通用 Transformer 难以保留作者身份和出处，原因包括：
-
分布式知识存储。 Transformer 将知识分布式地保存在数百万乃至数十亿参数中，不存在“书籍 A 的知识位于这些神经元、网站 B 的知识位于另一些神经元”的模块化分隔。训练将所有内容叠加在一起，因此拆分来源极其困难，就像蛋糕烤好后再分离原料。模型没有指针说明每项信息来自哪里。
-
泛化优先于记忆。 我们希望模型能够泛化，这正是它强大的原因。如果模型只记住完整文档并附引用复述，它的用途会减少，尽管反而更容易归因。模型真正做的是抽象和综合：从多个地方提取观点并融合成新句子。它有利于创造和回答复杂问题，却也意味着一项输出可能是数十种影响组成的马赛克，甚至每个词都有不同来源。模型用旧片段创造了新内容，而拆解这些片段并不容易。
-
上下文窗口限制。 模型输入具有固定上下文窗口。在窗口内，如果我们明确标注来源，模型可以在一次互动中追踪它；但它无法同时考虑全部训练来源，只能处理提示中容纳的内容。因此，归因依赖检索或用户提供引用。窗口之外的内容只存在于没有标签的模型记忆中。随着对话或生成文本增长，即使最初提供了来源，它们也可能离开上下文窗口，从模型当前生成的“思维”中消失。注意力无法超出设定上下文长度，因此过早提供的出处信息可能真正掉出模型处理范围。
-
当前没有归因奖励。 除非训练数据明确包含归因，模型目标不会因引用来源或保持说话者身份而奖励它。多数语料并没有一致使用“Alice 说……Bob 说……”的标签，也不会像 Wikipedia 一样每句附引用。因此，模型从未被要求忠于来源引用。人类反馈强化学习主要关注正确性和无害性，而较少关注归因忠实度。在我们把归因设为训练标准，例如惩罚虚构引用或错置引语之前，模型没有改善这一能力的内部激励。
-
规模与领域广度。 GPT-4 等模型几乎使用全部公开书面知识训练，涉及无数作者、风格和领域。维护作者身份必须覆盖所有领域。理论上可以为训练数据每句话添加作者或来源 ID，并训练模型同时预测这些标签；但为数十亿网页标注经常不可得或含糊的作者信息，在实践中几乎不可行，模型也可能被记忆标签的任务压垮。如果一个答案受两个来源影响，是否应同时列出两者？当前模型甚至不知道存在两个来源，因为权重中只有混合后的结果。
-
动态知识和更新。 使用新数据更新或微调模型会进一步增加追踪难度。初始训练后，模型可能在对话数据上微调，以学习特定风格或政策，例如 ChatGPT 的助手风格。这会覆盖部分来源记忆。模型“声音”成为微调指令与预训练数据的混合物。此时，连输出中的哪些部分来自预训练、哪些来自微调都难以识别，更不用说把预训练内容归给具体来源。
这些原因最终指向一个现实：一般情况下，要求原生 Transformer 保留清晰归因链，就像要求小说家为小说每句话脚注全部灵感来源。 这可能违背创造性泛化的本质。模型用自己学习到的声音“写作”，而这种声音是所有阅读内容的统计混合，并非透明拼贴。
6. 对知识产权、引用和问责的影响
Transformer 模糊作者边界不只是一项技术特征，它会产生重大影响。
知识产权与所有权。 艺术家、作家和开发者担心，使用其作品训练的 AI 会在不给予认可或补偿的情况下生成衍生输出。例如，模型可能生成具有特定艺术家风格的图像或音乐；艺术家的标志性风格进入训练数据后，被复制却完全没有说明。如果输出与已知作品高度相似，甚至可以视为衍生作品，它属于谁？用户、模型开发者，还是原艺术家？法律体系仍在处理这些问题，要求透明度的呼声也在增加。如果模型至少能说明“这项输出受到艺术家 X 风格影响”，就有助于分配功劳或标记潜在侵权，但模型不会自行做到。一些方案提出集体许可或补偿，由 AI 开发者为使用版权训练数据向基金付款，作为粗略归因替代。然而，这仍不会告诉内容消费者最初的灵感来自谁。没有追踪影响的技术手段，知识产权乃至获得署名的精神权利都很难执行。
引用与科学贡献。 在科学写作和学术界，通过引用给予认可是一项基础制度。如果 AI 写作辅助变得普遍，重要观点可能在没有承认原创者的情况下流通。语言模型可能提出一个十年前已经发表的解决方案；如果使用 AI 的研究者不知道该论文，就可能把它当成新成果。这会切断学术贡献链条，误导社群对发现者身份的认识，并使原作者失去影响声誉和职业发展的引用。一些期刊和会议已经因此制定 AI 生成文本政策。大语言模型贡献论文内容时，我们怎样保证其陈述来源经过验证并正确引用？一种方法是要求作者亲自核验每项事实并提供参考文献，无论它是否来自 AI；另一种方法是把 AI 视为工具而非作者，由人类承担全部责任。无论如何，AI 缺少内置引用正在增加工作量：用户必须事后复核并寻找来源，否则可能在不知情的情况下抄袭。
问责与错误信息。 AI 生成虚假或诽谤性陈述时，责任问题随之出现。如果模型毫无依据地声称“X 公司的产品会致癌”，谁应负责？模型不是法律主体，无法被起诉；责任属于模型公司、部署者，还是发出提示的用户？问责的一部分，是追踪模型可能从哪里获得这项观点：训练数据中的错误论坛帖子，还是模型自行混合的结果？没有出处，连纠正问题都很困难。如果知道模型引用了某个训练文档，至少可以将其标记为不可靠来源。但对端到端训练的 Transformer，绝大多数输出没有日志或解释。这种不透明使错误信息难以调试，也让 AI 虚假陈述的受害者无法查明模型为何这样说。人们因此要求 AI 为主张提供“展示过程”式证据，例如回答问题时同时给出支持答案的 Wikipedia 段落。检索增强是一种路径。水印等方法则试图标记内容由 AI 生成；它可以在元数据层说明内容应归于 AI，却仍不能说明 AI 的信息来自何处。
信任侵蚀。 新闻行业使用 AI 起草内容时，维护信任要求引语和事实准确且归属正确。如果新闻机构发布的 AI 辅助文章后来被发现包含错置引语，或使用竞争对手独家报道却未引用，公信力会受到严重损害。当前 AI 无法稳定归因，正是许多编辑保持谨慎的重要原因。即使 AI 尝试引用，也经常指向错误来源，例如二手聚合网站而不是最初记者。这与人工聚合中已有的问题相似，却可能被大规模放大。如果不加控制，原创者会在媒体生态中进一步隐形，衍生摘要和错误信息则更容易传播。
总而言之，Transformer 混合作者身份带来一项张力：我们希望 AI 拥有广泛知识和创造力，也需要它尊重知识的起源。 解决问题不仅需要技术创新，也需要社会、法律和教育层面的适应。
7. 结论：走向透明、可问责的 AI 生成内容
基于 Transformer 的模型无疑改变了内容创作，从流畅补全电子邮件、生成真实对话，到快速综合信息。但如本文所述，这些模型默认像才华出众却忘记自己从何处学习的模仿者。它们擅长生成语言，却不了解语言背后的出处链条。这给作者身份、贡献认可和责任带来全新挑战。
要把稳健归因加入 Transformer 并不容易，往往像试图把方形木块塞进圆孔。但这样做的重要性日益增长。研究社群正在通过混合系统、包含归因的改进训练机制和事后分析工具，使 AI 输出更可追踪。与此同时，社会也在呼吁建立规范甚至监管要求，确保 AI 参与内容创作时保持透明。有人建议，所有 AI 生成文本都应附披露说明乃至来源日志。这最终可能成为标准：想象阅读一篇生成文章时，每项主张都像 Wikipedia 一样链接到来源，而 AI 会对所有生成内容这样处理。
在这些方案成熟之前，我们仍处于必须依靠人工监督的“灰色地带”。语言模型用户需要具备 AI 素养，理解刚生成的优美段落可能混合了事实与借用观点，需要验证。教育机构强调，AI 草稿生成后必须复核事实并添加引用；一些出版物已经禁止没有来源的 AI 内容，原因正是出处问题。
更广泛的影响，是我们必须重新审视作者概念。人类写作时，我们假设此人是作者，或已经引用他人。AI 参与后，作者身份变得更集体化：人类、模型，以及数据用于训练模型的所有人都参与其中。随着生成式 AI 深入创造工作流，我们必须找到方法，保持创作者与作品之间的连接可见。否则，重要观点和作品将与创造它们的人脱离，削弱我们回报创造力和维护真相的制度基础。
归根结底，解决 AI 归因不只关乎功劳，也关乎完整性。能够准确解释自己为何作答、答案来自哪里的 AI，会比以全知先知口吻说话的系统更可信、更有用。实现这一目标可能需要超越今天 Transformer 的创新，或结合神经与符号推理的混合架构；也需要社会持续要求 AI 尊重并承认出处。出处问题已经得到明确认识。它没有简单答案，却是让 AI 成为负责任、可靠的信息生态伙伴的一项关键前沿。
保持知识链条完整，目前仍是掌握在人类手中的任务。
参考文献
Agrawal, A., Mackey, L., & Kalai, A. T. (2023). Do language models know when they’re hallucinating references? arXiv preprint arXiv:2305.18248. https://arxiv.org/abs/2305.18248
Çelikok, M. M. (2023). Attribution problem of generative AI: A view from US copyright law. Journal of Intellectual Property Law & Practice, 18(11), 796–803. https://doi.org/10.1093/jiplp/jpy082
Huang, L., Yu, W., Ma, W., Zhong, W., Feng, Z., Wang, H., Chen, Q., Peng, W., Feng, X., Qin, B., & Liu, T. (2023). A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions. arXiv preprint arXiv:2311.05232. https://arxiv.org/abs/2311.05232
Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate. arXiv preprint arXiv:2509.04664. https://arxiv.org/abs/2509.04664
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. In Advances in Neural Information Processing Systems (Vol. 33, pp. 9459–9474). https://arxiv.org/abs/2005.11401
Liu, J., Blanton, T., Elazar, Y., Min, S., Chen, Y., Chheda-Kothary, A., Tran, H., Soldaini, L., Ravichander, A., Authur, J., Muennighoff, N., Schwenk, D., Xie, S. M., Walsh, P., Groeneveld, D., Bhagia, A., Wadden, D., Lo, K., Soldaini, L., … Farhadi, A. (2025). OLMoTrace: Tracing language model outputs back to trillions of training tokens. arXiv preprint arXiv:2504.07096. https://arxiv.org/abs/2504.07096
Longpre, S., Mahari, R., Chen, A., Obeng-Marnu, N., Sileo, D., Mccoy, W., Muckatira, S., Nagireddy, N., Blagoj, V., Alic, A., Lam, B., Anderson, H., Zong, Y., Park, J. S., Hooker, S., Kabbara, J., Pentland, A., Barak, B., Frankle, J., … Muennighoff, N. (2024). A large-scale audit of dataset licensing and attribution in AI. Nature Machine Intelligence, 6(9), 975–987. https://doi.org/10.1038/s42256-024-00878-8
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (Vol. 30). https://arxiv.org/abs/1706.03762
Xu, Z., Jain, S., & Kankanhalli, M. (2024). Hallucination is inevitable: An innate limitation of large language models. arXiv preprint arXiv:2401.11817. https://arxiv.org/abs/2401.11817
建议引用。 如需在学术场景中引用本文，请使用：
Liao, S. (2025). Why AI isn’t built for attribution: understanding transformers. 澔智研究。
