从 Transformer 到 LLM Agent：AIGC 核心原理

从 ChatGPT 引爆大众视野，到 LangChain、LangGraph 等开发框架遍地开花，再到 AI Agent 成为行业新风口，AIGC 的技术演进始终沿着同一条底层逻辑推进：不断弥补大模型的原生能力边界，让 AI 从 “被动生成工具” 向 “自主执行系统” 进化。所有上层框架与应用模式，本质都能在基础原理中找到设计原点。本文结合大模型原理、多模态技术、LLM 训练机制与智能体架构相关的核心资料与公开研究成果，从四大维度系统梳理从底层模型到上层智能体的完整技术体系与典型案例。

一、概念谱系：从人工智能到大语言模型的层级与边界

很多人入门时会被 AI、机器学习、深度学习、生成式 AI 等概念混淆，它们并非并列关系，而是逐层包含的技术谱系，每一层都有明确的能力边界与适用场景。

1.1 机器学习三大范式：从数据中学习的三种逻辑

机器学习是人工智能的核心子集，它不依赖人工编写固定逻辑，而是让算法从数据中自动识别规律。根据学习方式的不同，分为三大经典范式：

• 监督学习：学习带标签的数据，建立输入到输出的映射。最典型的两类任务是分类与回归：给模型标注好 “猫 / 狗” 的图片，让它学会识别动物，这是分类；给模型房屋面积、卧室数等特征与对应房价，让它预测房屋价格，这是回归。
• 无监督学习：处理没有标签的数据，自主发现数据的内在结构。比如给模型一批包含猫和狗的图片，它不需要知道 “猫”“狗” 的概念，仅通过图像特征的相似性就能自动把图片聚成两类。
• 强化学习：通过 “试错 + 奖惩” 的机制优化策略，更接近人类习得技能的过程。可以用训小狗做直观类比：小狗做出符合预期的动作就给零食奖励，做错就给惩罚，久而久之它会主动选择能获得奖励的行为。对应到技术中，智能体在环境中执行动作、接收奖励反馈，不断调整策略以最大化长期收益，AlphaGo 就是强化学习的经典产物。

深度学习是实现上述三类学习的一种技术方法，核心是用多层神经网络模仿人脑的层次化信息处理机制。它不属于任何一种学习范式，却可以支撑所有范式 —— 神经网络既可以做监督分类，也可以做无监督聚类，还可以和强化学习结合形成深度强化学习。

1.2 生成式 AI 与大语言模型：能力与边界共生

生成式 AI 是深度学习的重要应用方向，它通过学习现有内容的模式与结构，自主生成全新的文本、图像、音频等内容。ChatGPT、Midjourney、GitHub Copilot 都属于生成式 AI 的范畴。

大语言模型（LLM）是生成式 AI 在自然语言领域的核心载体，它有两个关键特征：
一是参数规模巨大。参数是模型内部的变量，相当于模型学到的知识，参数越多，可调节的维度越丰富。可以用做蛋糕类比：如果只能调整面粉、糖、蛋三种原料，做出的蛋糕口味有限；如果能调整奶油、牛奶、可可粉、烘焙温度等十几种变量，就能复刻出更丰富的口味，甚至创造全新品种。GPT-3 的参数量高达 1750 亿，正是海量参数支撑了它的通用能力。
二是能力涌现。当参数和训练数据达到一定规模后，模型不再局限于单一任务，而是能通过提示词完成翻译、总结、分类、代码生成等多种工作，这是小模型不具备的特性。

但二者并非完全等同：不是所有生成式 AI 都是大语言模型（比如扩散模型生成图像就不属于 LLM），也不是所有大语言模型都属于生成式 AI。最典型的例子是 Google 的 BERT：它参数量大、属于大语言模型，擅长理解上下文语义，被广泛用于搜索引擎排序、情感分析，但它的架构决定了它不擅长连贯的长文本生成，因此业内普遍不将其归为生成式 AI。

大语言模型的核心运作机制是基于上下文预测下一个 Token—— 所有输出都是统计概率的结果，而非基于事实逻辑的推理。这个本质特征决定了它天生存在三大原生缺陷：容易编造事实（幻觉）、知识受训练数据截止时间限制（知识截断）、不擅长精确计算与逻辑推理。这些缺陷既是模型的能力边界，也是后续 RAG、工具调用、Agent 等技术诞生的根本动因。

二、技术基石：Transformer 架构的原理与本质

大语言模型的爆发，根源是 2017 年 Transformer 架构的提出。在它之前，自然语言处理的主流是循环神经网络（RNN），但 RNN 有两个无法突破的瓶颈，直接限制了大模型的发展。

2.1 为什么必须淘汰 RNN？

RNN 按顺序逐字处理文本，每一步的输出都依赖上一步的状态，这带来了两个致命问题：
第一，无法并行计算。必须等前一个字处理完，才能处理下一个字，训练效率极低，难以支撑超大规模模型的训练。
第二，长距离语义遗忘。词与词相隔越远，前面对后面的影响越弱，也就是 “灾难性遗忘问题”。比如句子 “我出生在广东，二十多年过去了，我依然能说一口流利的方言”，要准确预测 “方言” 前的 “广东”，需要捕获相隔很远的语义关联，RNN 很容易在处理到后半句时忘记前面的 “广东” 这个关键信息。

后续出现的 LSTM（长短期记忆网络）一定程度缓解了长距离遗忘，但依然没有解决串行计算的核心问题，直到 Transformer 的出现，才彻底打破了这两个瓶颈。

2.2 两大核心发明：自注意力与位置编码

Transformer 的革命性来自两个关键设计：自注意力机制解决了长距离依赖，位置编码解决了并行计算的语序问题。

自注意力机制是 Transformer 的灵魂。简单来说，模型处理每个词时，不会只关注相邻的词，而是会给句子中所有词都分配一个注意力权重 —— 语义关联越强，权重越高。最经典的例子是：

The animal didn’t cross the street because it was too tired

单从语法看，“it” 既可以指代 “street”，也可以指代 “animal”。自注意力机制会自动捕获到 “it” 与 “animal” 之间更强的语义关联，从而准确判断指代对象。哪怕两个词在句子中相隔很远，模型也能精准建立联系。

为了提取更丰富的特征，Transformer 还采用了多头自注意力：多个注意力头并行工作，分别关注语言的不同维度 —— 有的头关注语法关系，有的头关注实体指代，有的头关注情感倾向，最终融合得到全面的特征表示。

位置编码是另一项关键创新。语言的语义高度依赖语序，同样的字顺序不同，意思可能天差地别，比如 “人要是行，干一行行一行，一行行行行行”，同一个 “行” 字在不同位置、不同组合里读音和含义完全不同。

RNN 通过串行处理天然保留了语序，但也因此无法并行。Transformer 的做法是：给每个位置生成一个专属的位置向量，和词向量叠加后再输入网络。这样模型既能理解每个词的含义，也能感知词的顺序，同时所有位置可以同时计算，彻底实现了并行化，训练效率得到数量级提升，为超大规模模型的训练铺平了道路。

2.3 编码器 - 解码器：从理解到生成的完整链路

原始 Transformer 由编码器和解码器两部分组成，二者分工明确，共同完成 “理解输入 - 生成输出” 的完整流程。

编码器负责理解输入文本。文本先被拆分为 Token（文本的最小处理单位），转为词向量并叠加位置编码，再进入多层编码器堆叠。每层编码器都包含多头自注意力和前馈神经网络，最终输出融合了全局上下文的抽象特征。
编码器的核心价值是让词的表示 “随语境而变”。同一个词在不同句子里含义不同，编码器输出的特征向量也会不同。比如 “行” 字在 “行走” 和 “行业” 里，会得到完全不同的语义表示，这是传统词向量做不到的。

解码器负责生成输出文本。它有两个关键设计：
一是带掩码的自注意力。生成当前词时，模型只能看到它前面已经生成的词，后面的词会被遮蔽，确保生成顺序符合逻辑，不会 “偷看答案”。
二是交叉注意力。解码器会接入编码器的输出，让生成过程充分参考输入文本的信息，保证输出与输入的相关性。

解码器的最后一步，是通过线性层和 Softmax 层，输出词汇表中每个 Token 的生成概率。绝大多数时候，模型会选择概率最高的 Token 作为下一个输出，不断重复直到生成终止符。

但这种 “概率生成” 的机制，也直接导致了幻觉问题。文档里有一个典型案例：计算 33×5625，正确答案是 185625，但模型会认为 “185” 后面接 “808” 的概率最高，从而输出错误结果。模型并不知道自己在计算，它只是根据统计规律续写文本，自然无法保证事实正确性。

2.4 三大架构变种：适配不同任务

基于原始 Transformer，后续衍生出三类主流架构，分别对应不同的任务方向：

1. 仅编码器模型：只保留编码器，代表是 BERT。擅长语言理解任务，比如掩码填词、情感分析、语义匹配，是搜索引擎、文本分类的主流技术，但不擅长长文本生成。
2. 仅解码器模型：只保留解码器，代表是 GPT 系列。擅长自回归式的文本生成，是当前对话大模型的主流架构，ChatGPT、Llama、文心一言等都采用这一架构。
3. 编码器 - 解码器模型：保留完整的编解码结构，代表是 T5、BART。适合序列到序列任务，比如机器翻译、文本摘要，能精准地将一种输入序列转换为另一种输出序列。

核心论文参考：《Attention Is All You Need》，2017 年谷歌团队提出，是 Transformer 架构的开山之作

三、模型炼成：LLM 三阶段训练的底层逻辑

我们日常使用的 ChatGPT 式对话助手，并不是一步训练出来的。以 OpenAI 为代表的主流训练流程分为三个阶段：预训练、监督微调、强化学习与人类反馈，每个阶段有不同的目标、数据和产出。

3.1 预训练：打造 “互联网文本模拟器”

预训练是整个流程中成本最高、耗时最长的一步，目标是训练出具备通用语言能力的基座模型（Base Model）。

训练的原料是海量公开文本，涵盖网页、书籍、论文、维基百科、社交媒体等。以 FineWeb 数据集为例，规模达到 44TB、约 15 万亿个 Token，训练前还要经过严格的预处理：过滤低俗内容、提取纯文本、筛选语言、移除个人隐私信息、数据去重等，确保数据质量。

训练的核心逻辑是自我监督学习：从文本中截取一段连续 Token 作为上下文，让模型预测下一个 Token，再将预测结果与真实答案对比，通过反向传播更新模型参数。经过海量语料的反复迭代，模型会逐渐掌握语言的语法、语义、知识结构与表达模式。

基座模型的本质是 “互联网文本模拟器”，它最擅长的是续写文本，而不是回答问题。文档里用 Llama 3 基座模型做了几个很直观的演示：

• 输入 “What is 2+2?”，它不会给出答案，反而可能续写更多类似的数学题；
• 输入 “斑马 维基百科” 的开头，它能续写和维基百科几乎一致的内容，因为它在训练数据里见过；
• 输入 “2024 年美国总统大选 维基百科” 的开头，它会编造出完全不符合事实的内容，因为预训练数据截止到 2023 年底，它没见过相关信息，只能靠概率瞎猜。

这也印证了基座模型的特点：见过的内容能精准复现，没见过的内容就容易产生幻觉。以 GPT-2 为例，16 亿参数的模型，在 8 张 H100 显卡上训练 24 小时即可完成，成本约 672 美元 —— 这在今天已经属于 “迷你模型”，但足以体现预训练的算力消耗规律。

3.2 监督微调：让基座模型 “学会对话”

基座模型只会续写，不会对话。监督微调（SFT）的目标，就是让它从 “文本续写器” 变成能响应指令的 AI 助手。

这个阶段使用人工标注的高质量对话数据，数据遵循 3H 原则：

• Helpful（有用）：能准确理解用户意图，完成指定任务；
• Honest（真实）：尽量减少幻觉，不知道的问题要承认；
• Harmless（无害）：不输出违规、偏见、攻击性内容。

训练逻辑和预训练一致，依然是预测下一个 Token，但训练数据换成了对话格式。模型通过学习人类编写的问答范例，掌握对话的格式、语气和任务执行方式。比如看到 “复旦大学有几个校区？”，它会学会输出答案，而不是续写更多问题。

InstructGPT 是第一个大规模采用监督微调的模型，使用了约 100 万轮人工编写的对话数据。微调的成本远低于预训练，因为数据规模小、训练周期短，但能让模型的交互体验得到质的提升。

3.3 RLHF：对齐人类偏好的强化学习

监督微调能让模型听话，但还不能让它的输出完全符合人类偏好 —— 尤其是开放式问题，没有标准答案，很难用监督数据覆盖。于是有了基于人类反馈的强化学习（RLHF）。

直接让人类给每一条输出打分成本太高、效率太低，RLHF 采用了 “奖励模型 + 强化学习” 的两步方案：
第一步，训练奖励模型。让 SFT 模型对同一个问题生成多个回答，由人类标注员对回答质量排序。基于这些排序数据训练一个奖励模型，它可以像人类评委一样，对任意模型输出给出质量评分。文档里用 “讲笑话” 举了例子：人类不用给每则笑话打具体分数，只需要对几则笑话排序，就能训练出会评判笑话好坏的奖励模型。
第二步，强化学习迭代。以 SFT 模型为初始模型，让它生成回答，用奖励模型给出分数作为反馈，通过 PPO 算法更新模型参数。经过多轮迭代，模型会不断优化输出策略，生成更符合人类偏好的内容。

但 RLHF 也有明显局限：当模型能力超过奖励模型的评判能力时，继续训练反而可能导致质量下降，甚至出现模型 “钻空子”—— 找到能拿高分但毫无逻辑的输出模式。因此业内也有观点认为，RLHF 本质更接近 “对齐式微调”，而非纯粹的强化学习。

3.4 进阶方向：推理模型的崛起

针对大模型复杂推理能力弱的问题，最新一代模型走向了 “推理强化” 路线，代表是 DeepSeek-R1、GPT o 系列。

这类模型通过强化学习，学会了在输出最终答案前，先生成完整的思考过程。文档里提到 DeepSeek-R1 的两个典型特征：一是随着训练推进，推理过程的平均 Token 数越来越长，模型自己发现 “详细推理更容易得到正确答案”；二是推理过程中会出现类似人类 “顿悟时刻” 的语气表达。

本质上，这是把大模型 “一步出答案” 的生成模式，改成了 “分步思考、逐步推导” 的模式，用更长的推理链条换取更高的准确率。这和提示工程里的 “思维链（CoT）” 原理一致，但通过训练把这种能力内化成了模型的本能。

核心论文参考：《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，2022 年谷歌团队提出，首次系统验证了思维链对模型推理能力的提升作用

四、模态拓展：多模态 AI 的融合与对齐逻辑

纯文本大模型只能处理语言信息，但现实世界的信息是多维度的。多模态人工智能通过整合文本、图像、音频、视频等多种模态，让 AI 的感知方式更贴近人类，也能处理更丰富的现实任务。

4.1 多模态的核心价值：信息互补

不同模态的信息各有侧重，融合之后能实现 1+1>2 的理解效果。最直观的例子是判断 “热闹的市场” 场景：只看图像，能看到人群和摊位，但无法确定是否嘈杂；只听音频，能听到人声鼎沸，但无法确定场景类型。将图像的视觉信息和音频的听觉信息融合，就能精准、可靠地做出判断。

多模态学习就是围绕 “如何表示不同模态、如何融合信息、如何建立模态间关联” 三个核心问题展开，对应三大核心技术：表征学习、模态融合、跨模态对齐。

4.2 三大核心技术

表征学习是基础。它负责将不同模态的原始数据，转换成模型可处理的低维稠密向量（嵌入表示）。文本通过预训练语言模型得到词向量，图像通过卷积神经网络提取视觉特征，音频通过频谱分析 + 深度网络得到声学特征。最终目标是让向量能精准捕获对应模态的语义信息，相似的内容在向量空间里距离更近。

模态融合是核心，按融合阶段分为三类：

• 数据层融合（早期融合）：在数据处理早期就直接拼接原始特征。优点是保留信息最完整，缺点是不同模态的数据差异大、尺度不一，融合难度高，适合图像 + 深度图这类相关性极强的模态。
• 特征级融合：先分别提取各模态的特征，再对特征做融合运算。这是当前最主流的方式，兼顾信息保留与处理效率，广泛应用于情感分析、语音识别等场景。
• 决策层融合（晚期融合）：各模态先独立输出预测结果，最后融合最终决策。优点是模态间解耦、可解释性强，适合多传感器融合、多专家意见汇总等场景。

跨模态对齐是关键。它要找到不同模态数据在语义、时间、空间上的对应关系，比如视频字幕要和画面在时间上同步，文本描述要和图像中的物体在语义上匹配。对齐分为显式对齐和隐式对齐：显式对齐会人工建立对应关系，比如用标注数据做监督对齐；隐式对齐则通过模型自动学习，比如 Transformer 的注意力机制、CLIP 的对比学习，都是在训练中自动建立模态间的语义关联。

4.3 里程碑式视觉大模型

文本 - 视觉交叉是当前多模态最成熟的方向，诞生了三个里程碑式的基础模型：

• CLIP：基于对比学习的跨模态模型，用海量图像 - 文本对训练，将图像和文本映射到同一个向量空间。它实现了零样本图像分类和跨模态检索，也是绝大多数文生图模型的文本编码器。
• SAM（分割一切模型）：通用图像分割模型，支持点击、画框、文本等多种提示方式，能零样本分割任意图像中的物体，把图像分割从 “定制化任务” 变成了 “基础能力”。
• Stable Diffusion：主流文生图扩散模型，由 CLIP 文本编码器、变分自编码器（VAE）、U-Net 去噪网络三部分组成。它不在像素空间直接生成，而是在低维潜空间中逐步去噪，大幅提升了生成效率和稳定性。

基于这些基础能力，多模态已经落地了图像描述（看图说话）、视觉问答（根据图片回答问题）、跨模态检索（文搜图 / 图搜文）、视觉常识推理等丰富应用。

五、自主进化：LLM Agent 的架构与范式革命

无论是单模态还是多模态大模型，本质都是被动响应的工具 —— 必须人类给出明确的提示词，才能输出结果。而 LLM Agent（大语言模型智能体）的出现，让 AI 从 “被动生成” 走向了 “自主执行”，被认为是通往通用人工智能的核心路径。

5.1 从模型到智能体：为什么必须有 Agent

大模型有五个绕不开的原生缺陷：容易产生幻觉、事实性不足、知识有时效性限制、复杂计算能力弱、没有实际行动能力。这些缺陷靠模型本身的迭代很难彻底解决，而 Agent 的思路，就是用外部组件和系统设计来补全这些能力。

最直观的对比是 “买一杯咖啡”：

• 问 ChatGPT，它只会告诉你 “我是文字 AI，无法帮你购买咖啡”；
• 交给一个 AI Agent，它会自主拆解任务：确定外卖平台、选择店铺、下单、调用支付接口完成支付，全程不需要人类一步步指令。

如果说 Copilot 模式是 “副驾驶”，只在人类工作时提供辅助，那 Agent 就是 “初级主驾驶”—— 给定一个目标，它就能自主思考、自主行动、自主完成任务。文档里用 “AI 大厨” 做了生动类比：普通大模型只能给你输出食谱；而 Agent 式的 AI 大厨，会根据你的口味选食材、自动下单、监控烹饪过程，最终端出做好的菜。

5.2 经典 Agent 架构：四大组件的分工与协作

OpenAI 研究员 Lilian Weng 提出的框架是业内公认的经典定义：AI Agent = LLM + 记忆 + 规划 + 工具使用。其中 LLM 是大脑，另外三个组件分别补全大模型的一项短板。

记忆模块解决大模型上下文有限、无法长期留存信息的问题。它模仿人类记忆分为三层：感觉记忆对应原始输入，留存极短；短期记忆对应当前会话上下文，受模型上下文窗口限制；长期记忆则持久化存储用户偏好、历史交互、领域知识，技术上依赖向量数据库存储，通过 RAG（检索增强生成）与 Rerank（重排序）技术实现精准语义召回，需要时再检索出来作为上下文输入给大模型。

规划模块解决大模型复杂任务容易跑偏的问题，核心是把大目标拆成子任务，分步执行并动态调整。业内已经沉淀了多种成熟的规划范式，各有适用场景：

• ReAct：最基础也最经典的框架，让模型在 “思考 - 行动 - 观察” 之间循环迭代。文档里用 “苹果遥控器” 做了经典案例：纯推理容易漏信息，纯行动容易走偏，而 ReAct 模式下，模型先思考要查什么，再调用搜索工具执行，然后观察结果继续推理，一步步逼近正确答案。

核心论文参考：《ReAct: Synergizing Reasoning and Acting in Language Models》，2022 年提出，首次将推理与行动结合构建智能体闭环

• ReWOO：针对 ReAct 反复调用 LLM、Token 开销大的问题，把推理规划与工具执行解耦 —— 先一次性生成完整执行计划，再批量调用所有需要的工具，最后统一汇总结果。全程只需要两次调用 LLM，大幅降低了计算成本。
• Plan-and-Execute：先由规划器生成多步执行计划，再由执行器逐个完成子任务，执行中还能根据反馈动态重规划，适合周期长、复杂度高的任务。
• LLM Compiler：支持并行执行工具调用，典型场景是 “微软市值需要增加多少才能超过苹果”：模型会同时搜索微软市值和苹果市值，再汇总计算，用并行提升效率。
• Reflexion：加入反思机制，生成结果后模型会自我批判、修正优化，类似 “左右互搏”，通过多轮迭代换取更高的输出质量。

工具使用模块解决大模型无行动能力的问题，主流实现方式是 Function Calling：预先定义工具的名称、参数格式与返回值，大模型自主判断何时调用、传入什么参数，执行后将结果返回给模型，继续后续推理。
工具的范围几乎没有边界：搜索引擎、代码解释器、计算器、数据库、各类业务 API，甚至是其他 Agent。通过工具调用，Agent 可以获取实时信息、执行精确计算、操作外部系统，真正从 “文字输出者” 变成了 “任务执行者”。

5.3 分类与挑战：Agent 仍在早期阶段

按工作模式，Agent 可分为三类：单 Agent 独立完成任务，比如专属调研助手；多 Agent 分工协作，比如 MetaGPT 让不同 Agent 扮演产品经理、工程师、测试，共同完成软件开发；混合 Agent 则是人机协同，AI 做初步处理，人类做最终决策，适配医疗、金融等高风险场景。

尽管前景广阔，但当前 Agent 技术仍面临三大核心挑战：
第一是可靠性衰减。多步骤串联会放大模型的错误概率，假设每一步的可靠性是 95%，经过 5 步之后，整体可靠性就会降到 80% 以下，一步出错就可能导致结果完全偏离。
第二是成本与性能平衡。复杂规划、多轮工具调用、反思迭代都会大幅提升推理成本和响应延迟，落地时需要在效果和成本间做权衡。
第三是法律与安全风险。Agent 自主执行任务产生的错误，责任界定尚不清晰；同时还存在指令注入、数据泄露等安全隐患。

核心综述参考：《The Rise and Potential of Large Language Model Based Agents: A Survey》，复旦大学 NLP 团队 2023 年发布，系统梳理了 LLM Agent 的技术体系与发展方向

结语

从 Transformer 的架构突破，到大语言模型的三阶段训练，从多模态的感知扩展，到 Agent 的自主执行，AIGC 的技术演进始终遵循同一个底层逻辑：在大模型的能力边界上，用工程化的方式不断补全短板。

对开发者而言，理解这些底层原理，是用好 LangChain、LangGraph 等上层框架的核心前提。框架里的每一个组件、每一种编排模式，都不是凭空设计的 —— 它们都对应着大模型的某一项原生缺陷，都是对模型能力的工程化延伸。看懂了底层逻辑，再做 AI 应用开发就不再是 “拼组件、调参数” 的黑盒操作，而是能从原理出发，做出合理的架构选型与优化设计。

参考文献

[1] 《Deep Dive into LLMs like ChatGPT》. 基于 Andrej Karpathy 公开课程整理.
[2] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need [EB/OL]. https://arxiv.org/pdf/1706.03762, 2017.
[3] Wei J, Wang X, Schuurmans D, et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models[EB/OL]. https://arxiv.org/pdf/2201.11903, 2022.
[4] Yao S, Zhao J, Yu D, et al. ReAct: Synergizing Reasoning and Acting in Language Models[EB/OL]. https://arxiv.org/pdf/2210.03629, 2022.
[5] Feng S, Chen Y, Liu C, et al. The Rise and Potential of Large Language Model Based Agents: A Survey[EB/OL]. https://arxiv.org/pdf/2309.07864, 2023.